Студент Александар Мићић је у среду, 19. јула 2023. године одбранио свој мастер рад на тему Мултимодална предикција за табеларне податке са текстуалним пољима заснована на трансформерима пред ментором др Немањом Илићем и члановима комисије др Бојаном Димић Сурлом и др Душаном Вујошевићем.
У уводу свог рада Александар је истакао:
Циљ овог рада је побољшање резултата метода који су се показали најбољи у раду са табеларним подацима (ансамбли стабала одлучивања / регресије), укључивањем метода који су се показали најбољи у раду са секвенцама и текстом (трансформер модели дубоког учења засновани на механизму пажње). У раду ће се конктекстуални ембединг вектори текста генерисани моделом дубоког учења користити као додатна обележја за модел који подразумева ансамбл стабла регресије.
Методолошки, у изради рада су на аналитичко-синтетичи начин анализирани методи, проблеми и потенцијална решења за дизајн алгоритама који се могу користити у посматраном тексту, а са емпиријске тачке показан је квалитет предложеног модела. Трансформерски модел који ће се користити је DistilBert модел који се заснива на бидирекционим трансформерима.
…
У овом раду су прикупљени подаци о 50.042 возила, након чишћења. Анализирано је која обележја имају највећи утицај на цену и примењени су различити модели машинског и дубоког учења у циљу предикције цене аутомобила. Затим су изгенерисани ембединг вектори на основу текста описа који су употребљени за побољшање резултата. На крају је примењена PCA техника редукције димензионалности. – закључио је Александар.
Фотографије са одбране доступне су у галерији.