Studentkinja Računarskog fakulteta Elena Drpa odbranila je diplomski rad na temu Veliki jezički modeli pred komisijom koju su činili mentor dr jelena Vasiljević i član dr Nemanja Radosavljević.
U uvodu svog rada Elena je istakla sledeće:
U uvodu, razmatraju se osnovne karakteristike LLM-a i njihov značaj u modernoj veštačkoj inteligenciji. Detaljno su opisane arhitektura i mehanizmi LLM-a, uključujući osnove neuronskih mreža, transformator arhitekturu i mehanizme pažnje. Tehnike obuke i optimizacije modela su detaljno razmotrene, sa naglaskom na različite faze treniranja, kao što su samonadzorno učenje, nadzoreno učenje, i pojačano učenje. Posebna pažnja je posvećena parametarski efikasnom fino podešavanju (PEFT) i specijalizaciji modela.
…
Na osnovu analize, nekoliko ključnih pravaca daljeg razvoja može se identifikovati. Prvi pravac uključuje poboljšanje efikasnosti modela krozoptimizaciju resursa i razvoj manjih, ali učinkovitijih modela. Drugi pravac je personalizacija, koja će omogućiti bolje prilagođavanje individualnim potrebama korisnika i specifičnim aplikacijama. Treći pravac odnosi se na odgovornu veštačku inteligenciju, gde će se razvoj modela fokusirati na smanjenje pristrasnosti i povećanje transparentnosti. Na kraju, multimodalni sistemi i kontinuirano učenje predstavljaju uzbudljive mogućnosti za budući razvoj, nudeći širu primenu i adaptivnost modela.
Fotografije sa odbrane dostupne su u galeriji.