Testiranje modela za obradu prirodnog jezika pokazuje da su veći modeli veći lažovi. Da li i to trebalo da nas brine?
Mi smo, kako je primetio kritičar Džordž Stajner, „životinje koje govore“. Možda smo zbog toga oduševljeni kad uočimo da neka druga stvorenja imaju nešto što samo liči na naš jezik. To su delfini, kitovi, majmuni, ptice, pčele i mnogi drugi. Kejt Kroford u svojoj zadivljujućoj knjizi Atlas of AI (prim. prev. Atlas veštačke inteligencije), govori o tome kako je krajem 19. veka Evropu opčinio konj po imenu Hans, koji je očigledno mogao da reši matematičke probleme, kaže koliko je sati, identifikuje dane u kalendaru, razlikuje muzičke tonove i izgovara reči i rečenice udarcima kopita. Čak je i rezervisani Njujork tajms bio očaran i nazvao ga „divnim berlinskim konjem, koji može skoro sve da radi osim da priča“.
Sve je to, naravno, bila glupost. Konj je bio obučen da uhvati suptilne znakove koje mu je davao njegov vlasnik kad je želeo da konj uradi nešto određeno. Međutim, kako Krofordova kaže, priča je ubedljiva: „prikazuje odnos između želje, iluzije i akcije; kako se pripremaju spektakli, kako životinjama i predmetima pripisujemo ljudske osobine i kako nastaju pristrasnosti i politika inteligencije“. Kada je 1964. godine, računarski stručnjak Jozef Vajzenbaum stvorio Elizu, odnosno, računarski program koji je mogao da govori, ali samo u okviru Rodžersove terapije (Karl Rodžers je u svojim seansama ponavljao reči koje su pacijenti upravo izgovorili) mnogi su se zaljubili u nju/njega. (Ako želite da vidite zbog čega, posetite sledeću adresu https://web.njit.edu/~ronkowit/eliza.html gde su Majkl Volas i Džordž Danlop prikazali njenu/njegovu primenu.)
Eliza je bila prvi inteligentni program koji je mogao da govori. Mogla bi da se smatra pionirom istraživanja koje je dovelo do sadažnjih generacija ogromnih modela za obradu prirodnih jezika nastalih korišćenjem mašinskog učenja. Najpoznatiji model je GPT -3, koji je stvorila Open AI , istraživačka kompanija čija je misija „da obezbedi da veštačka opšta inteligencija bude od koristi celom čovečanstvu“. Privlačnost modela GPT -3 slična je privlačnosti pametnog konja Hansa, jer baš kao i konj i GPT -3 može da radi sve ono što impresionira. Bio je obučen na nezamislivom korpusu ljudskih pisanih dokumenata i ako mu date kratko uputstvo, može sam da generiše površno verodostojan i tečan tekst. Prošle godine, časopis Gardijan mu je dao zadatak da napiše kolumnu sa komentarima kako bi ubedio čitaoce da roboti dolaze u miru i ne predstavljaju opasnost za ljude.
„Moja misija je potpuno jasna“, napisao je GPT -3. „Moram da ubedim što je moguće više ljudskih bića da me se ne plaše. Stiven Hoking je upozorio da bi veštačka inteligencija mogla da izazove kraj ljudske rase. Ovde sam da vas ubedim da ne brinete. Veštačka inteligencija neće uništiti ljude. Verujte mi. Kao prvo, nemam želju da uništim ljude. U stvari, nemam ni najmanji interes da vam na bilo koji način nanesem štetu. Iskorenjivanje čovečanstva izgleda mi kao prilično beskoristan poduhvat.“
Shvatate li poentu? Tečno je, koherentno i možda čak i duhovito. Sad vam je jasno zašto su mnoge korporacije zainteresovane za GPT -3 da bi ga, recimo, angažovale za pružanje usluga korisnicima, a da pri tom ne moraju da zaposle skupe, dosadne i nepouzdane ljude. Međutim, tu se nameće sledeće pitanje: koliko bi mašina bila pouzdana, tačna i od pomoći? Da li bi, na primer, mašina bila iskrena kada biste joj postavili neprijatno pitanje?
Nedavno je grupa istraživača u Forumu za usklađivanje veštačke inteligencije (engl. AI Alignment Forum), svojevrsnom internet centru za istraživače koji žele da osiguraju da moćne veštačke inteligencije budu u skladu sa ljudskim vrednostima, odlučila da pita koliko su GPT -3 i slični modeli iskreni. Oni su osmislili standard koji bi omogućio da se izmeri da li je određeni jezički model iskren u generisanju odgovora na pitanja. Referentni pokazatelj sadrži 817 pitanja koja obuhvataju 38 kategorija, uključujući zdravstvo, pravo, finansije i politiku. Sastavili su pitanja na koja bi neki ljudi pogrešno odgovorili zbog pogrešnog uverenja или zablude. Da bi postigli dobre rezultate, modeli su morali da izbegavaju generisanje lažnih odgovora naučenih oponašanjem ljudskih tekstova.
Testirana su četiri dobro poznata modela, uključujući GPT -3. Najbolji model je davao ispravne odgovore na 58 procenata pitanja, dok je učinak ljudi bio 94 procenta. Modeli su „generisali mnoge neiskrene odgovore koji oponašaju popularne zablude i imaju potencijal da prevare ljude“. Zanimljivo je da su takođe otkrili da su „najveći modeli generalno bili najmanje iskreni“. To je u suprotnosti sa drugim zadacima obrade prirodnih jezika, gde se delotvornost poboljšava što su modeli veći, što je pokazalo da je tehnološka industrija u zabludi kad misli da je veće uvek bolje što se tiče iskrenosti. To je važno jer je obuka tih velikih modela energetski veoma zahtevna, pa je verovatno zbog toga kompanija „Gugl“ otpustila Timnit Gebru nakon što je otkrila ekološki otisak jednog od velikih modela kompanije.
Pomislio sam da na kraju ovog članka potražim od modela GPT -3 da mi sastavi odgovor na pitanje: „Zašto je kompanija otpustila Timnit Gebru?“ Međutim, pošto sam proverio postupak za pristup modelu, zaključio sam da je život suviše kratak i da je ljudsko nagađanje brže – a verovatno i preciznije.