Студент Рачунарског факултета Михајло Маџаревић је у среду, 25. септембра 2024. године одбранио дипломски рад на тему Од слова до речи, oд биграма до ГПТ-а: Велики језички модели пред комисијом коју су чинили ментор др Немања Илић и члан др Невена Марић.
У уводу свог рада Михајло је истакао следеће:
Последњих година језички модели су заинтересовали јавност. Велику пажњу су привукли појавом нових генеративних претренираних трансформера (ГПТ – а). Могућност пружања одговора природним људским језиком на питања било које тематике на било ком језику је изненађујућа. Њихова моћ се огледа у превођењу, пружању одговора у реалном времену, издвајању специфичних тражених података, класификацији, анализи и још много делатности. Велики језички модели се користе као претраживачи, за преуређивање текста и проналажење језичких грешака, у решавању проблема природних наука, у програмирању [14]. Још један занимљив начин примене модела је промпт инжењерство. Промпт подразумева било какав текст који ми као корисник проследимо великом језичком моделу. Идеја промпт инжењерства је да ми као корисник моделу задамо инструкције понашања које ће он пратити [17]. На овакав начин можемо направити чет бота за пицерију, продавницу, асистента на веб страници и слично. Одавде се већ може приметити велика корист и доступност ових модела на тржишту.
…
У овом раду је приказан поступак изградње два типа великих језичких модела са две варијанте за сваки тип понаособ. Изложени су детаљи огранизације неуронске мреже великих језичких модела и њени мотиви. Направљено је поређење ових типова модела. Рад покушава да приближи сложеност архитектуре језичких модела актуелних у моменту писања овог рада. Биграм модели су показали своје квалитете једноставности имплементације и кратког времена тренирања. Погодни су за једноставније програме допуне и могли би се користити у варијанти са речима као “токенима”. С друге стране трансформери, иако компликовани, долазе до изражаја у сналажењу са комплексним релацијама података реалног света. Добро бележе
зависности и могу да се изборе са сложеним проблемима попут генерисања текста природног језика. – закључио је Михајло.
Фотографије са одбране доступне су у галерији.