Googleova procesna jedinica Tensor je štampana kartica, koja se umetne u postojeće servere i služi kao koprocesor, skrojen za izračunavanja za neuronske mreže. U januarskom specijalnom izdanju Top Tech 2017, pisao sam o raznim pokušajima da se proizvede hardver prilagođen za izvršavanje proračuna dubokog obučavanja. Prva među njima je Googleova jedinica Tenzor, ili TPU (Tensor Processing Unit), koju Google ugrađuje u svoje centre podataka od početka 2015. godine. U tom članku, spekulisao sam da je TPU verovatno dizajnirana za obavljanje onoga što se naziva kalkulacije „zaključivanja“. To jest, da je dizajnirana da brzo i efikasno izračuna ono za šta je ta neuronska mreža stvorena. Ali ta neuronska mreža će takođe morati da se „obuči“, što znači da će se mnogi njeni parametri podešavati da izvrše željeni zadatak. Obuka neuronske mreže obično zahteva drugačiji skup računarskih veština: konkretno, obučavanje često zahteva upotrebu aritmetike više preciznosti nego što je potrebno za zaključivanje.
Juče je Google objavio prilično detaljan opis TPU i njenih performansi u odnosu na CPU i GPU (grafičkih procesnih jedinica). Bio sam srećan što sam video da je moja pretpostavka iz januara bila ispravna: TPU je izgrađen da vrši zaključivanje i ima hardver koji radi sa 8-bitnim celim brojevima, a ne sa preciznijim brojevima sa pokretnim zarezom.
Juče popodne, Dejvid Paterson, profesor emeritus kompjuterskih nauka na univerzitetu Berkli u Kaliforniji, i jedan od koautora izveštaja, predstavio je ove nalaze na regionalnom seminaru Nacionalne akademije za inženjerstvo, koji je održan u Muzeju istorije računara u Menlo Parku, Kalifornija. Sažetak njegovog govora lepo sumira glavnu tačku. Ona u jednom delu glasi: „TPU je za red veličine brža od savremenih procesora i GPU, a njegova relativna performanse po vatu je još veća.“
Googleov post na blogu o izdavanju izveštaja pokazuje koliko može da bude razlike u relativnoj uspešnosti, naročito u pogledu energetske efikasnosti. Na primer, u poređenju sa savremenim GPU, TPU navodno nudi 83 puta bolje performanse po vatu. To bi moglo biti preterano, jer u samom izveštaju stoji samo da postoji opseg od 41 puta do 83 puta. I to je za količinu koju autori nazivaju inkrementalna performansa. Raspon poboljšanja za ukupne performanse je manji: TPU je od 14 do 16 puta bolji u poređenju sa performansom GPU.
Referentni testovi koji su korišćeni da bi se došlo do ovih zaključaka su zasnovani na pola tuceta stvarnih programa neuralnih mreža koji su korišćeni u Google centrima podataka. Zato je malo verovatno da bi neko kritikovao ove rezultate sa primedbom da testovi ne odražavaju realne okolnosti. Ali mi se čini da bi drugačiji kritika mogla doći u obzir.
Problem je sledeći: ovi istraživači su poredili svoj 8-bitni TPU sa grafičkim procesorima više preciznosti, koji jednostavno nisu pogodni za kalkulacije zaključivanja. GPU model koji je Google koristio u svom izveštaju je Nvidia K80, koji vrši proračune jednostruke (32-bit) i dvostruke preciznosti (64-bit). Mada su oni često važni za obuku neuronske mreže, takvi nivoi preciznosti obično nisu potrebni za zaključivanje.
U mom tekstu od januara, primetio sam da Nvidijina novija porodica GPUa Paskal može da obavlja operacije sa „pola preciznost“ (16-bit) i spekulisao da ta kompanija može uskoro da proizvede jedinice potpuno sposobne za 8-bitne operacije, u kom slučaju bi mogle da budu mnogo efikasnije u vršenju kalkulacija zaključivanja za programe neuronskih mreža.
Autori izveštaja su predvideli takvu kritiku u poslednjem delu svog rada; tu su razmatrali tvrdnju (za koju kažu da je neistinita) da bi “ rezultati za CPU i GPU bili uporedivi sa TPU da smo ih efikasnije koristili ili da smo poređenja vršili sa novijim verzijama.“ U razmatranju ove tačke, oni kažu da su testirali samo jedan procesor koji može da podrži 8-bitne proračune i da je TPU bio 3,5 puta bolji. Ali oni se ne bave pitanjem kako bi prošle grafičke jedinice prilagođene za 8-bitne kalkulacije – što bi bilo važno ako bi takvi grafički procesori uskoro postali široko dostupni.
Ako bi se to desilo, nadam se da će ovi u Google ponovo pokrenuti svoje referentne testove i javiti nam kako su TPU uporedili sa GPU sposobnom za 8-bitne proračune.
Izvor: IEEE Spectrum