Poslednjeg dana januara, ChatGPT je javnosti prikazao novi alat koji otkriva da li je tekst generisala veštačka inteligencija ili ga je napisao čovek. U roku od nekoliko sati, ispostavilo se da je alat, najblaže rečeno, nesavršen. Zbog toga moramo da kažemo da verovatno nećemo uskoro pronaći pouzdano rešenje otkrivanje radova generativne veštačke inteligencije, bilo da je u pitanju tekst ili slike.
Sebastian Raschka, stručnjak za veštačku inteligenciju i mašinsko učenje, odlučio je da testira novi alat kompanije OpenAI koji bi trebalo da otkrije da li je tekst napisao čovek ili ga je generisala veštačka inteligencija. Naime, uzeo je delove teksta iz knjige koju je objavio 2015. godine. Tri različita odlomka su dobila različite rezultate. Prvo, alatka je objavila da nije sasvim sigurna da je predgovor napisala veštačka inteligencija, ali njena izjava je bila „moguće je da je napisala AI“. Predgovor je dobio mišljenje „moguće da ga je napisala AI“, a pasus iz prvog poglavlja je označen „verovatno ga je napisala AI“.
Međutim, zabrinutost je dostigla svoj vrhunac kad je Raschka u okvir alatke uneo prvu stranicu Šekspirovog Magbeta i dobio sledeći odgovor: „Klasifikator smatra da je tekst verovatno generisala AI.“
Na pitanje da li je bio iznenađen rezultatima, Raschka je rekao: „I jesam i nisam. Pošto nemam uvid u dokumentaciju programa, ne mogu sa sigurnošću da vam kažem kako funkcioniše, ali na osnovu kratkog opisa koji imaju na veb-stranici, izgleda mi da obučavaju klasifikator da predvidi da li je nešto napisao čovek ili ga je generisala veštačka inteligencija.“ Objasnio je da je problem u tome što postoje lažni negativni i lažni pozitivni rezultati, a sve na osnovu toga na kom skupu podataka je alat obučen.
Što se Magbeta tiče, Raschka kaže da se greška verovatno dogodila zbog toga što alat nije obučen na staroengleskom. „To nije normalan govorni engleski, skoro da možemo da kažemo da zvuči kao strani jezik.“
OpenAI kaže da alat može da bude koristan u kombinaciji sa drugim metodama
OpenAI priznaje da je klasifikator tačan u oko 26 procenata slučajeva. Inače, klasifikator je GPT model koji je fino podešen putem nadgledanog učenja za obavljanje binarne klasifikacije, sa skupom podataka za obuku koji se sastoji od odlomaka teksta koje su napisali ljudi i generisala veštačka inteligencija.
Međutim, kompanija tvrdi da alat i dalje može da bude koristan u kombinaciji sa drugim metodama. U e-poruci, kompanija je rekla da „klasifikator ima za cilj da pomogne u ublažavanju lažnih tvrdnji da je tekst kojeg je generisala veštačka inteligencija, napisao čovek. Pošto alat i dalje ima brojna ograničenja, trebalo bi ga koristiti kao dopunu drugim metodama određivanja izvora teksta umesto da bude primarni alat za donošenje odluka.”
Kompanija je na svojoj veb-stranici dodala da klasifikator čini javno dostupnim „kako bi dobili povratne informacije o tome da li su nesavršeni alati kao što je ovaj korisni“, dodajući da će nastaviti da rade na otkrivanju teksta kojeg je generisala veštačka inteligencija i „nadaju se da će, u budućnosti, moći da obezbede bolje metode.”
Drugi generativni alati za detekciju generativne veštačke inteligencije suočavaju se sa teškom bitkom
Kompanija OpenAI nije usamljena u pokušaju da se izbori sa opštim haosom otkrivanja generativne veštačke inteligencije. Postoji veliki broj drugih alata koji se bore sa izazovom.
Na primer, GPTZero daje rezultat koji zahteva od korisnika da ga tumači. U objavi na blogu, Raschka je objasnio: „GPTZero ne kaže da li je tekst generisala veštačka inteligencija ili nije. Umesto toga, vraća samo neodređenu ocenu za relativno poređenje tekstova. To je bolje, jer primorava korisnike da kritički upoređuju slične tekstove umesto da slepo veruju oceni koju su dobili.“
DetectGPT, objasnio je Raschka, ima tendenciju da „uzbuni” tekst. To jest, objasnio je, ako je verovatnoća postojanja novog teksta primetno niža od originalnog, onda ga je generisala veštačka inteligencija. Inače, ako je verovatnoća približno jednaka, onda ga je napisao čovek. Dodao je da je problem u tome što metoda uključuje korišćenje specifičnog velikog jezičkog modela, koji „možda nije reprezentativan za model veštačke inteligencije za generisanje određenog teksta“.
Ubacivanje vodenog žiga je još jedan pristup: On se sastoji u smanjivanju verovatnoće pojavljivanja određenih reči tako da je manja verovatnoća da će ih veliki jezički modeli koristiti, a sve uz pomoć „liste izbegavanja“. Međutim, objasnio je Raška, za to je potreban veliki jezički model koji je modifikovan spomenutom listom izbegavanja. Ako je poznata lista izbegavanja, rekao je, tekst kojeg je generisala veštačka inteligencija može da bude modifikovan.
Šta to znači za detektovanje generativne veštačke inteligencije?
Raschka je rekao da još nije poznato kako će se sve odvijati i da li će alati za otkrivanje generativne veštačke inteligencije napraviti bilo kakav napredak kako bi mogli sa sigurnošću da otkriju da li je neki tekst stvorio čovek ili ga je generisala veštačka inteligencija. Da li će internet postati neupotrebljiv, zbog toga što će ga preplaviti generisani sadržaj kojem ne možemo da verujemo?
Na internetu tražimo određeni sadržaj i uglavnom verujemo u ono što smo pronašli. Raschka kaže da ćemo u budućnosti morati da budemo selektivniji i da ćemo morati da se potrudimo da pronađemo verodostojne veb-stranice.
Šta god da nam budućnost nosi, Pandorina kutija je već otvorena kada je u pitanju generativna veštačka inteligencija, naglasio je i dodao da trenutno smatra da je ChatGPT koristan kao „uglađena provera gramatike“ koja nam olakšava pisanje.
Povratka na staro nema, kaže Raschka. Svi će koristiti te sisteme i sve će biti u redu ako ih odgovorno koristimo, jer njihovu upotrebu ne možemo da izbegnemo.
Za sada, alati za otkrivanje generativne veštačke inteligencije „definitivno nisu dovoljno dobri“ za donošenje važnih odluka, rekao je on. Jedna od tih važnih odluka je i njihovo korišćenje u ocenjivanju radova učenika i studenata, jer nastavnici uvek strahuju od prepisivanja i plagijata.
Takvi modeli mogu da izazovu štetu u stvarnom svetu jer ih prosvetni radnici usvajaju pri ocenjivanju. Međutim, trebalo bi posvetiti više pažnje lažno pozitivnim i lažno negativnim rezultatima.