Istraživači sa Državnog univerziteta Severne Karoline razvili su novi pristup federalizovanom učenju koji im omogućava da brže i preciznije razviju tačne modele veštačke inteligencije (VI). Rad je usmeren na dugogodišnji problem u federalizovanom učenju koji se javlja kada u različitim skupovima podataka koji se koriste za obuku VI postoji značajna heterogenost.
Federalizovano učenje je tehnika obuke VI koja omogućava VI sistemima da poboljšaju svoje performanse koristeći više skupova podataka bez ugrožavanja privatnosti tih podataka. Na primer, federalizovano učenje bi moglo da se koristi za upotrebu privilegovanih podataka o pacijentima iz više bolnica u cilju poboljšanja dijagnostičkih alata VI, a da bolnice nemaju pristup podacima o tuđim pacijentima.
Federalizovano učenje je oblik mašinskog učenja koji uključuje više uređaja, koji se nazivaju klijenti. Klijenti i centralizovani server svi počinju sa osnovnim modelom dizajniranim da reši određeni problem. Od te početne tačke, svaki od klijenata zatim obučava svoj lokalni model koristeći sopstvene podatke, modifikujući model kako bi poboljšao njegove performanse. Klijenti zatim šalju ova „ažuriranja“ na centralizovani server. Centralizovani server se oslanja na ove ispravke da bi napravio hibridni model, sa ciljem da hibridni model radi bolje nego što bilo koji klijent radi samostalno. Centralni server zatim šalje ovaj hibridni model nazad svakom od klijenata. Ovaj proces se ponavlja sve dok se performanse sistema ne optimizuju ili dok se ne postigne dogovoreni nivo tačnosti.
„Međutim, ponekad priroda ličnih podataka klijenta dovede do promena u lokalnom modelu koji funkcioniše dobro samo za podatke sopstvenog klijenta, ali ne funkcionišu dobro kada se primenjuju na druge skupove podataka“, kaže Čau-Vai Vong, koautor rada o novoj tehnici i docent za elektrotehniku i računarstvo na NC State. „Drugim rečima, ako postoji dovoljno heterogenosti u podacima klijenata, ponekad klijent modifikuje svoj lokalni model na način koji zapravo šteti performansama hibridnog modela.“
„Naš novi pristup nam omogućava da rešimo problem heterogenosti efikasnije od prethodnih tehnika, uz istovremeno očuvanje privatnosti“, kaže Kai Iue, prvi autor rada i doktorantski student u NC State. „Pored toga, ako postoji dovoljno heterogenosti u podacima klijenata, može biti efektivno nemoguće da se tačan model razvije koristeći tradicionalne federalne pristupe učenju. Ali naš novi pristup nam omogućava da razvijemo tačan model bez obzira na to koliko su podaci heterogeni.“
U novom pristupu, ažuriranja koja klijenti šalju centralizovanom serveru se preformatiraju na način koji čuva privatnost podataka, ali daje centralnom serveru više informacija o karakteristikama podataka koje su relevantne za performanse modela. Konkretno, klijent šalje informacije serveru u obliku Jakobijanskih matrica. Centralni server zatim uključuje ove matrice u algoritam koji proizvodi poboljšani model. Centralni server zatim distribuira novi model klijentima. Ovaj proces se zatim ponavlja, pri čemu svaka iteracija vodi do takvih ažuriranja modela koji poboljšavaju performanse sistema.
„Jedna od centralnih ideja je da se izbegne iterativno obučavanje lokalnog modela na svakom klijentu, već se umesto toga serveru dozvoli da direktno proizvede poboljšani hibridni model zasnovan na Jakobijanskim matricama klijenata“, kaže Rajan Pilgrim, koautor rada i bivši diplomirani student u NC State. „Pri tome, algoritam ne samo da izbegava više krugova komunikacije, već i sprečava da različita lokalna ažuriranja degradiraju model.“
Istraživači su testirali svoj novi pristup u odnosu na standardne industrijske skupove podataka koji se koriste za procenu performansi federalizovanog učenja, i otkrili da je nova tehnika bila u stanju da dostigne ili nadmaši tačnost federalnog izračunavanja prosečnih vrednosti — što je merilo za federalno učenje. Štaviše, novi pristup je bio u stanju da se izjednači sa tim standardom dok je broj rundi komunikacije između servera i klijenata smanjio za ceo red veličine.
„Na primer, za federalizovano izračunavanje proseka je potrebno 284 runde komunikacije da bi se u jednom od skupova testnih podataka postigla tačnost od 85% “, kaže Iue. „Mi smo uspeli da postignemo 85% tačnosti sa 26 rundi“.
„Ovo je novi, alternativni pristup federalizovanom učenju, pa je to istraživački rad“, kaže Vong. „Mi u stvari menjamo analitičke alate za praktično rešavanje problema. Radujemo se što ćemo dobiti povratne informacije o njegovom potencijalu od privatnog sektora i od šire zajednice istraživača federalizivanog učenja.“
Rad, „Neural Tangent Kernel Empowered Federated Learning,“ biće predstavljen na 39. međunarodnoj konferenciji o mašinskom učenju (ICML), koja se održava u Baltimoru, Maryland., od 17. do 23. jula.
Izvor: TechXplore
Federalizovano učenje je nova decentralizovana procedura mašinskog učenja za obuku modela mašinskog učenja sa više dobavljača podataka.