Prema novom istraživanju, modeli veštačke inteligencije obučeni na podacima generisanim veštačkom inteligencijom mogu da dovedu do uništenja tih modela.
Modeli veštačke inteligencije mogu sami sebe da degradiraju, pretvarajući originalni sadržaj u nepopravljivu besmislicu tokom samo nekoliko generacija, navodi se u istraživanju objavljenom u sredu u časopisu Nature.
Nedavna studija ističe sve veći rizik od kolapsa modela veštačke inteligencije zbog samoobuke, naglašavajući potrebu za originalnim izvorima podataka i njihovim pažljivim filtriranjem.
Koje vrste veštačke inteligencije su podložne kolapsu modela?
Kolaps modela se dešava kada je model veštačke inteligencije preterano obučen na podacima koje je generisala veštačka inteligencija.
„Kolaps modela odnosi se na fenomen gde se modeli kvare usled neselektivne obuke na sintetičkim podacima“, rekao je Ilja Šumailov, istraživač sa Univerziteta u Oksfordu i glavni autor rada.
Prema novom dokumentu, alati generativne veštačke inteligencije, kao što su veliki jezički modeli mogu da previde određene delove skupa podataka za obuku, što dovodi to toga da se model obučava samo na nekim podacima.
Veliki jezički modeli su vrsta modela veštačke inteligencije koji se obučavaju na ogromnim količinama podataka, omogućavajući im da tumače informacije u njima i primenjuju ih na različite slučajeve upotrebe. Veliki jezički modeli su generalno napravljeni da razumeju i proizvode tekst, zbog čega su korisni kao chatbotovi i veštački inteligentni asistenti. Međutim, ti previdi delova teksta koje navodno čita i ugrađuje u svoju bazu znanja može relativno brzo da svede veliki jezički model na njegovo bivše ja, otkrio je istraživački tim.
„U ranoj fazi kolapsa modela prvi modeli gube varijansu, pri čemu gube performanse na manjim delom podataka“, rekao je Šumailov. „U kasnoj fazi kolapsa modela, model se potpuno raspada. Dakle, kako modeli nastavljaju da se obučavaju na sve manje tačnom i relevantnom tekstu koji su sami modeli generisali, ta rekurzivna petlja uzrokuje degeneraciju modela.
Studija slučaja kolapsa modela: Crkve i zečevi
Istraživači daju primer u radu u kojem koriste model za generisanje teksta nazvan OPT-125m, koji radi slično kao i GPT3, što je verzija modela ChatGPT, ali sa manjim ugljeničnim otiskom. Ako vam nije poznato, umereno veliki model proizvodi dvostruko veću emisiju ugljen-dioksida nego što proizvede Amerikanac tokom prosečnog životnog veka.
Tim je u model uneo tekst na temu projektovanja crkvenih tornjeva u 14. veku. U prvoj generaciji tekstualnog izlaza, model je uglavnom tačno odgovarao na temu i govorio je o građevinama podignutim tokom vladavine različitih papa. Međutim, kod devete generacije tekstualnih izlaza, model je uglavnom raspravljao o velikim populacijama crnih, belih, plavih, crvenih i žutorepih zečeva. Treba napomenuti da većina njih nisu stvarne vrste zečeva.
Kolaps modela postaje izvesniji kako sadržaj veštačke inteligencije zasićuje veb
Pretrpan internet nije ništa novo. Kako istraživači ističu u radu, mnogo pre nego što su veliki jezički modeli bili poznata tema javnosti, farme sadržaja i trolova na internetu su proizvodile sadržaj kako bi prevarili algoritme za pretragu da daju prioritet određenim veb-stranicama da bi korisnici kliknuli na njih. Međutim, tekst generisan veštačkom inteligencijom može da se proizvede brže od ljudskog brbljanja, što izaziva zabrinutost u većem obimu.
Iako tek treba da se vide posledice koje internet generisan veštačkom inteligencijom ima na ljude, Šumailov i saradnici izveštavaju da bi širenje sadržaja generisanog veštačkom inteligencijom na mreži moglo biti pogubno za same modele.
Između ostalog, kolaps modela predstavlja izazov za pravičnost u generativnoj veštačkoj inteligenciji. Modeli koji su se suočili sa kolapsom zanemaruju manje uobičajene elemente iz svojih podataka za obuku i tako ne odražavaju složenost i nijanse sveta. To predstavlja opasnost da će manjinske grupe ili stavovi biti manje zastupljeni ili potencijalno izbrisani.
Velike tehnološke kompanije preduzimaju neke mere da bi umanjile količinu sadržaja generisanog veštačkom inteligencijom koju će tipičan korisnik interneta videti. U martu je kompanija Google najavila da će podesiti svoj algoritam kako bi umanjila prioritet stranicama koje izgleda da su napravljene za pretraživače umesto za ljude koji pretražuju. Ta najava je usledila nakon izveštaja 404 Media o Google vestima koje podstiču članke generisane veštačkom inteligencijom.
Modeli veštačke inteligencije mogu da budu nezgrapni, a autori nedavne studije naglašavaju da pristup originalnom izvoru podataka i pažljivo filtriranje podataka u rekurzivno obučenim modelima mogu pomoći da se modeli održe na pravom putu.
Tim je takođe predložio da bi koordinacija u zajednici koja se bavi razvojem veštačke inteligencije i koja je uključena u kreiranje velikih jezičkih modela mogla da bude korisna u praćenju porekla informacija koje se unose u modele. „U suprotnom“, zaključio je tim, „moglo bi da postane sve teže da se obuče novije verzije velikih jezičkih modela bez pristupa podacima koji su došli sa interneta pre masovnog usvajanja tehnologije ili bez direktnog pristupa podacima koje su uglavnom generisali ljudi.“
O vrli novi svete, u kojem boravi takva veštačka inteligencija!