Autor: Bob Yirka
Grupa računarskih naučnika u Microsoftovom istraživačkom centru, u saradnji sa kolegom sa Univerziteta Kineske akademije nauka, predstavila je Microsoftov novi model veštačke inteligencije koji radi na običnom procesoru umesto na grafičkom procesoru (GPU). Istraživači su objavili rad na arXiv preprint serveru u kojem je opisano kako je novi model napravljen, njegove karakteristike i koliko se dobro pokazao tokom testiranja
Tokom proteklih nekoliko godina, LLM-ovi su postali veoma popularni. Modeli poput ChatGPT-a su dostupni korisnicima širom sveta, uvodeći ideju inteligentnih četbotova. Jedna stvar koja je zajednička većini njih je da su obučeni i da rade na GPU čipovima. To je zbog ogromne količine računarske snage potrebne kada se obučavaju na ogromnim količinama podataka.
U skorije vreme, izražena je zabrinutost zbog ogromnih količina energije koje koriste centri podataka za podršku svim četbotovima koji se koriste u različite svrhe. U ovom novom poduhvatu, tim je pronašao ono što opisuju kao pametniji način za obradu ovih podataka i napravili su model koji to dokazuje.
Jedan od energetski najzahtevnijih delova izvršavanja modela veštačke inteligencije je način na koji se koriste i čuvaju težine – obično kao 8- ili 16-bitni brojevi sa pokretnim zarezom. Takav pristup uključuje mnogo memorije i rada procesora, što zato zahteva mnogo energije. U svom novom pristupu, istraživači su potpuno napustili korišćenje brojeva sa pokretnim zarezom i umesto toga predlažu upotrebu onoga što opisuju kao 1-bitnu arhitekturu.
U svojoj inovaciji, težine se čuvaju i obrađuju koristeći samo tri vrednosti: -1, 0 i 1. To omogućava da se tokom obrade koristi samo jednostavno sabiranje i oduzimanje – operacije koje se lako obavljaju pomoću računara sa običnim procesorom.
Testiranje novog tipa modela pokazalo je da je on u stanju da se nosi sa modelima zasnovanim na grafičkom procesoru u svojoj klasi, pa čak i da nadmaši neke od njih – sve to uz korišćenje daleko manje memorije i, na kraju, mnogo manje energije.
Za izvršavanje takvog modela, tim je kreirao okruženje za to. Novo okruženje se zove bitnet.cpp i dizajnirano je tako da najbolje iskoristi 1-bitnu arhitekturu.
Ako se tvrdnje ovog tima potvrde, BitNet b1.58 2B4T bi mogao da bude prekretnica. Umesto oslanjanja na ogromne farme podataka, korisnici bi uskoro mogli da koriste čet-bot na svom računaru ili možda telefonu. Pored smanjene potrošnje energije, lokalizacija LLM obrade bi značajno poboljšala privatnost i omogućila rad čak i bez povezivanja na internet.
Izvor: TechXplore