Студент Рачунарског факултета Павле Марковић је 30. октобра одбранио свој дипломски рад на тему „Генерисање текстова песама коришћењем Attention LSTM рекурентних неуралних мрежа“ пред комисијом коју су чинили ментор др Немања Илић и др Јелена Васиљевић, члан комисије.
„Овај рад представља покушај учења рачунара да на основу постојећих музичких текстова генерише нове. Описани проблем припада области генерисања природног језика која се сматра врло битним фактором за достизање генералне вештачке интелигенције, што сам рад чини занимљивијим. У њему су коришћена три различита модела. Прво је коришћен обичан језички модел, развијен над креираним скупом података. Затим, варијација рекурентних неуралних мрежа са LSTM слојем, укључује embedding векторе и атентион слој. У мору кандидата чији текстови би могли послужити у овом подухвату, изабран је Џони Кеш, који се сматра једним од највећих кантри музичара свих времена. Он је иза себе оставио велики број текстова разноликих тема, штога чини погодним кандидатом. “ – у уводу истиче аутор.
„Што се модела у овом раду тиче, показали су солидне резултате иако нису успели да достигну стил Џонија Кеша на сопствен начин, ипак је он велики аутор на крају. Поред дужег тренирања модела неуралних мрежа размотрена су још нека потенцијална побољшања. То су:
1. Детаљнија анализа скупа текстова, можда избацивање неких текстова, или прављење бољих тренинг и валидационог скупа.
2. Прављење модела на нивоу речи.
3. Мењање LSTM нивоа, GRU нивоом.
4. Коришћење perplexity метрике за процену модела.
5. Имплементација неког другог модела.
Иако модели нису били у стању да сами генеришу довољно дугачке и смислене строфе, успевали су да буду веома креативни на нивоу стихова. Уз људску помоћ која би укључивала премештање стихова или исправљање грешака, мислим да би могли да се добију разумљиви, смислени и забавни текстови. На крају крајева, не морају ни рачунари све сами да одрађују.“ – закључио је Павле.
Фотографије са одбране погледајте у галерији.