Stručnjaci u oblasti računarstva objašnjavaju šta znači kada je interno funkcionisanje veštačke inteligencije sakriveno.
Pri spominjanju termina „crna kutija“, mnogi pomisle na uređaje koji snimaju šta se dešava u avionima i izuzetno su važni za analiziranje događaja koji su se odigrali pre nesreće. U engleskom jeziku termin se koristi i za mala i minimalno opremljena pozorišta. Međutim, crna kutija je, takođe, važan pojam u svetu veštačke inteligencije.
U oblasti veštačke inteligencije, crne kutije se odnose na interne procese koji se odvijaju u sistemima veštačke inteligencije, a koji su potpuno nedostupni i nepoznati korisnicima. Kao što nam je poznato, takvim sistemima možete da date neki upit i dobijete neki odgovor, ali nemate uvid u sistemski kôd ili logiku koja je kreirala odgovor, odnosno, izlaz.
Mašinsko učenje je dominantni podskup veštačke inteligencije. Nalazi se u osnovi generativnih sistema veštačke inteligencije kao što su ChatGPT i DALL-E 2. Postoje tri komponente mašinskog učenja: algoritam ili skup algoritama, podaci za obuku i model. Algoritam je skup procedura. U mašinskom učenju, algoritam uči da identifikuje obrasce nakon što je obučen na velikom skupu primera, odnosno, na podacima za obuku. Kada se algoritam mašinskog učenja obuči, rezultat koji se dobija je model mašinskog učenja. Model je ono što ljudi koriste.
Na primer, algoritam mašinskog učenja mogao bi da bude napravljen tako da identifikuje obrasce na slikama, a podaci za obuku mogu da budu slike pasa. Dobijeni model mašinskog učenja bio bi onaj koji može da prepozna pse. Ako ubacite sliku kao ulaz, dobićete izlaz koji će vam ukazati na to da li se negde na slici pojavljuje pas kao skup piksela i gde tačno.
Bilo koja od tri komponente sistema mašinskog učenja može da bude sakrivena, odnosno da se nalazi u crnoj kutiji. Kao što je često slučaj, algoritam je javno dostupan, zbog čega nema potrebe da se stavlja u crnu kutiju. Da bi zaštitili svoju intelektualnu svojinu, programeri veštačke inteligencije često stavljaju model u crnu kutiju. Drugi pristup koji programeri softvera koriste je da prikriju podatke koji se koriste za obuku, odnosno, u crnu kutiju stavljaju podatke na kojima se model obučavao. Nasuprot crnoj kutiji, postoji i staklena kutija. Veštačka inteligencija u staklenoj kutiji je sistem čiji su algoritmi, podaci o obuci i model dostupni svima i svi mogu da imaju uvid u njih. Međutim, stručnjaci ponekad čak i za te aspekte kažu da su u crnoj kutiji.
To se dešava zbog toga što stručnjaci ne mogu u potpunosti da shvate kako algoritmi mašinskog učenja, posebno algoritmi dubokog učenja, funkcionišu. Oblast posvećena veštačkoj inteligenciji koja se može objasniti bavi se razvojem algoritama koje ljudi mogu bolje da razumeju, iako se to ne mora nazvati staklenom kutijom.
Zbog čega su važne veštačke inteligencije u crnoj kutiji
U mnogim slučajevima postoji dobar razlog da budete oprezni sa algoritmima i modelima mašinskog učenja koji se nalaze u crnoj kutiji. Pretpostavimo da je model mašinskog učenja postavio dijagnozu o vašem zdravlju. Da li biste želeli da model bude u crnoj ili staklenoj kutiji? Šta je sa lekarom koji vam je prepisao određeni tretman? Možda bi lekar hteo da zna kako je model došao do svoje odluke.
Šta bi se dogodilo ako bi vas model mašinskog učenja koji određuje da li možete da dobijete poslovni kredit od banke odbio? Zar ne biste želeli da znate zbog čega? Ako biste znali, mogli biste efikasnije da uložite žalbu na odluku ili promenite svoju situaciju kako biste povećali šanse da sledeći put dobijete kredit.
Crne kutije se, takođe, dovode u vezu sa bezbednošću softverskog sistema. Godinama su mnogi stručnjaci u oblasti računarstva mislili da bi držanje softvera u crnoj kutiji sprečilo hakere da ga ispitaju i da bi tako bio bezbedan. U mnogim slučajevima se ispostavilo da je ta pretpostavka pogrešna, jer hakeri mogu da obrnu proces kreiranja softvera, to jest, da naprave faksimil pažljivo posmatrajući kako deo softvera funkcioniše i otkriju slabosti koje bi mogli da iskoriste. Kad je softver u staklenoj kutiji, oni koji ga testiraju i dobronamerni hakeri mogu da ga ispitaju i obaveste kreatore o slabostima, čime se sajber-napadi svode na minimum.