Student Računarskog fakulteta Mihajlo Madžarević je u sredu, 25. septembra 2024. godine odbranio diplomski rad na temu Od slova do reči, od bigrama do GPT-a: Veliki jezički modeli pred komisijom koju su činili mentor dr Nemanja Ilić i član dr Nevena Marić.
U uvodu svog rada Mihajlo je istakao sledeće:
Poslednjih godina jezički modeli su zainteresovali javnost. Veliku pažnju su privukli pojavom novih generativnih pretreniranih transformera (GPT – a). Mogućnost pružanja odgovora prirodnim ljudskim jezikom na pitanja bilo koje tematike na bilo kom jeziku je iznenađujuća. Njihova moć se ogleda u prevođenju, pružanju odgovora u realnom vremenu, izdvajanju specifičnih traženih podataka, klasifikaciji, analizi i još mnogo delatnosti. Veliki jezički modeli se koriste kao pretraživači, za preuređivanje teksta i pronalaženje jezičkih grešaka, u rešavanju problema prirodnih nauka, u programiranju [14]. Još jedan zanimljiv način primene modela je prompt inženjerstvo. Prompt podrazumeva bilo kakav tekst koji mi kao korisnik prosledimo velikom jezičkom modelu. Ideja prompt inženjerstva je da mi kao korisnik modelu zadamo instrukcije ponašanja koje će on pratiti [17]. Na ovakav način možemo napraviti čet bota za piceriju, prodavnicu, asistenta na veb stranici i slično. Odavde se već može primetiti velika korist i dostupnost ovih modela na tržištu.
…
U ovom radu je prikazan postupak izgradnje dva tipa velikih jezičkih modela sa dve varijante za svaki tip ponaosob. Izloženi su detalji ogranizacije neuronske mreže velikih jezičkih modela i njeni motivi. Napravljeno je poređenje ovih tipova modela. Rad pokušava da približi složenost arhitekture jezičkih modela aktuelnih u momentu pisanja ovog rada. Bigram modeli su pokazali svoje kvalitete jednostavnosti implementacije i kratkog vremena treniranja. Pogodni su za jednostavnije programe dopune i mogli bi se koristiti u varijanti sa rečima kao “tokenima”. S druge strane transformeri, iako komplikovani, dolaze do izražaja u snalaženju sa kompleksnim relacijama podataka realnog sveta. Dobro beleže
zavisnosti i mogu da se izbore sa složenim problemima poput generisanja teksta prirodnog jezika. – zaključio je Mihajlo.
Fotografije sa odbrane dostupne su u galeriji.