Autor: Shweta Sharma
Napadači mogu da naoružaju i distribuiraju veliki broj paketa koje preporučuju modeli veštačke inteligencije, a koji zapravo ne postoje.
Istraživači sajber bezbednosti upozoravaju na novu vrstu napada na lanac snabdevanja, „Slopsquatting“, izazvanu halucinantnim generativnim modelom veštačke inteligencije koji preporučuje nepostojeće zavisnosti.
Prema istraživanju tima sa Univerziteta Texas u San Antoniju, Virdžinija Techa i Univerziteta u Oklahami, halucinacija paketa je uobičajena pojava koda generisanog pomoću velikih jezičkih modela (LLM), što akteri pretnji mogu da iskoriste.
„Oslanjanje popularnih programskih jezika kao što su Python i JavaScript na centralizovane repozitorijume paketa i softver otvorenog koda, u kombinaciji sa pojavom LLM-ova koji generišu kôd, stvorilo je novu vrstu pretnje lancu snabdevanja softverom: halucinacije paketa“, kažu istraživači u jednom radu.
Iz analize 16 modela za generisanje kôda, uključujući GPT-4, GPT-3.5, CodeLlama, DeepSeek i Mistral, istraživači su primetili da je približno petina preporučenih paketa lažna.
Napadači mogu da iskoriste halucinirana imena
Istraživači su utvrdili da napadači mogu da registruju halucinirane pakete i pomoću njiih distribuiraju zlonameran kôd .
„Ako jedan halucinirani paket postane široko preporučen od strane veštačke inteligencije i napadač je registrovao to ime, potencijal za široko rasprostranjeno kompromitovanje je realan“, prema analizi istraživanja koju je sproveo Socket. „A s obzirom na to da mnogi programeri veruju bez rigorozne provere u rezultate veštačke inteligencije, prozor mogućnosti je širom otvoren.“
„Aljkavo lažiranje“ (engl. Slopsquatting), kako ga istraživači nazivaju, je termin koji je prvi skovao Set Larson, rezidencijalni programer bezbednosti u Python Software Foundation (PSF), zbog sličnosti sa tehnikom „tiposkvotiranja“. Umesto da se oslanjaju na grešku korisnika, kao kod „tiposkvotova“, pretnje se oslanjaju na grešku modela veštačke inteligencije.
Utvrđeno je da je značajan broj paketa, koji iznosi 19,7% (205.000 paketa), preporučenih u testnim uzorcima, lažan. Modeli otvorenog koda – poput DeepSeek-a i WizardCoder-a – halucinirali su češće, u proseku 21,7%, u poređenju sa komercijalnim (5,2%) poput GPT 4.
Istraživači su otkrili da je CodeLlama (halucinirajući preko trećine izlaza) najgori prestupnik, a najbolji GPT-4 Turbo (samo 3,59% halucinacija).
Ove halucinacije su opasne
Ove halucinacije paketa su posebno opasne jer se pokazalo da su uporne, ponavljajuće i izgledaju verodostojne.
Kada su istraživači ponovo pokrenuli 500 zahteva za unos koji su prethodno proizveli halucinirane pakete, 43% halucinacija se ponovo pojavljivalo svaki put u 10 uzastopnih izvršavanja, a 58% njih se pojavljivalo u više od jednog.
Studija je zaključila da ova upornost ukazuje „da većina halucinacija nije samo slučajna buka, već ponavljajući artefakti načina na koji modeli reaguju na određene upite“. Ovo povećava njihovu vrednost za napadače, dodaje se.
Pored toga, primećeno je da su ova halucinirana imena paketa „semantički ubedljiva“. Trideset osam procenata njih imalo je umerenu sličnost nizova sa stvarnim paketima, što sugeriše sličnu strukturu imenovanja. „Samo 13% halucinacija bile su jednostavne greške u kucanju sa greškom za jedan znak“, dodaje Soket.
Iako ni analiza Socketa ni istraživački rad nisu pomenuli nikakve slučajeve „aljkavog ubacivanja“, oba su upozorila na zaštitne mere. Socket je preporučio programerima da instaliraju skenere zavisnosti ispred proizvodnje i izvršavanja da bi otkrili zlonamerne pakete. Brzo sprovođenje bezbednosnog testiranja jedan je od razloga da modeli veštačke inteligencije podležu halucinacijama. Nedavno je OpenAI okrivljen za značajno smanjenje vremena i resursa za testiranje svojih modela, što njegovu upotrebu izlaže značajnim pretnjama.
Izvor: CSO
WikipediA:
instaliranje nepostojećeg paketa
