Student Aleksandar Mićić je u sredu, 19. jula 2023. godine odbranio svoj master rad na temu Multimodalna predikcija za tabelarne podatke sa tekstualnim poljima zasnovana na transformerima pred mentorom dr Nemanjom Ilićem i članovima komisije dr Bojanom Dimić Surlom i dr Dušanom Vujoševićem.
U uvodu svog rada Aleksandar je istakao:
Cilj ovog rada je poboljšanje rezultata metoda koji su se pokazali najbolji u radu sa tabelarnim podacima (ansambli stabala odlučivanja / regresije), uključivanjem metoda koji su se pokazali najbolji u radu sa sekvencama i tekstom (transformer modeli dubokog učenja zasnovani na mehanizmu pažnje). U radu će se konktekstualni embeding vektori teksta generisani modelom dubokog učenja koristiti kao dodatna obeležja za model koji podrazumeva ansambl stabla regresije.
Metodološki, u izradi rada su na analitičko-sintetiči način analizirani metodi, problemi i potencijalna rešenja za dizajn algoritama koji se mogu koristiti u posmatranom tekstu, a sa empirijske tačke pokazan je kvalitet predloženog modela. Transformerski model koji će se koristiti je DistilBertmodel koji se zasniva na bidirekcionim transformerima.
…
U ovom radu su prikupljeni podaci o 50.042 vozila, nakon čišćenja. Analizirano je koja obeležja imaju najveći uticaj na cenu i primenjeni su različiti modeli mašinskog i dubokog učenja u cilju predikcije cene automobila. Zatim su izgenerisani embeding vektori na osnovu teksta opisa koji su upotrebljeni za poboljšanje rezultata. Na kraju je primenjena PCAtehnika redukcije dimenzionalnosti. – zaključio je Aleksandar.
Fotografije sa odbrane dostupne su u galeriji.