Student Računarskog fakulteta Pavle Marković je 30. oktobra odbranio svoj diplomski rad na temu „Generisanje tekstova pesama korišćenjem Attention LSTM rekurentnih neuralnih mreža“ pred komisijom koju su činili mentor dr Nemanja Ilić i dr Jelena Vasiljević, član komisije.
„Ovaj rad predstavlja pokušaj učenja računara da na osnovu postojećih muzičkih tekstova generiše nove. Opisani problem pripada oblasti generisanja prirodnog jezika koja se smatra vrlo bitnim faktorom za dostizanje generalne veštačke inteligencije, što sam rad čini zanimljivijim. U njemu su korišćena tri različita modela. Prvo je korišćen običan jezički model, razvijen nad kreiranim skupom podataka. Zatim, varijacija rekurentnih neuralnih mreža sa LSTM slojem, uključuje embedding vektore i atention sloj. U moru kandidata čiji tekstovi bi mogli poslužiti u ovom poduhvatu, izabran je Džoni Keš, koji se smatra jednim od najvećih kantri muzičara svih vremena. On je iza sebe ostavio veliki broj tekstova raznolikih tema, štoga čini pogodnim kandidatom. “ – u uvodu ističe autor.
„Što se modela u ovom radu tiče, pokazali su solidne rezultate iako nisu uspeli da dostignu stil Džonija Keša na sopstven način, ipak je on veliki autor na kraju. Pored dužeg treniranja modela neuralnih mreža razmotrena su još neka potencijalna poboljšanja. To su:
1. Detaljnija analiza skupa tekstova, možda izbacivanje nekih tekstova, ili pravljenje boljih trening i validacionog skupa.
2. Pravljenje modela na nivou reči.
3. Menjanje LSTM nivoa, GRU nivoom.
4. Korišćenje perplexity metrike za procenu modela.
5. Implementacija nekog drugog modela.
Iako modeli nisu bili u stanju da sami generišu dovoljno dugačke i smislene strofe, uspevali su da budu veoma kreativni na nivou stihova. Uz ljudsku pomoć koja bi uključivala premeštanje stihova ili ispravljanje grešaka, mislim da bi mogli da se dobiju razumljivi, smisleni i zabavni tekstovi. Na kraju krajeva, ne moraju ni računari sve sami da odrađuju.“ – zaključio je Pavle.
Fotografije sa odbrane pogledajte u galeriji.