Ljudi koji se bave softverskim inženjerstvom dobro znaju da konačni rezultat programiranja zavisi od onog što ste u program uneli. Ako mašine napunimo podacima koji odražavaju naše predrasude, one će ih podražavati – zbog toga ćemo dobiti robote koji su antisemiti ili programe koji su naklonjeniji jednoj ljudskoj rasi. Da li to znači da će ljudi u užasnoj budućnosti koja ih čeka živeti na milost i nemilost algoritama? U maju prošle godine, u jednom izveštaju je izneta činjenica da je računarski program koji američko sudstvo koristi za procenu rizika potpuno neobjektivan prema crnim zatvorenicima. Program se zove Compas (Correctional Offender Management Profiling for Alternative Sanctions) i skloniji je da pogrešno proceni da će zatvorenici crne rase ponovo počiniti neki zločin. Verovatnoću je procenio kao dvostruko veću u odnosu na bele zatvorenike. Compas i slični programi korišćeni su u stotinama sudova širom Amerike i potencijalno su obaveštavali o odlukama sudija i sudskih službenika. Poruka je bila sasvim jasna: američki sudski sistem, kritikovan zbog rasne pristrasnosti, okrenuo se savremenoj tehnologiji za pomoć da bi otkrio da i algoritmi poseduju rasnu netrpeljivost.
Kako je to moguće? Privatna kompanija Northpointe koja je napravila softver ne slaže se sa zaključcima izveštaja, ali istovremeno odbija da otkrije kako program funkcioniše jer smatra da su takvi podaci izuzetno komercijalno osetljivi.Napredak mašinskog učenja i drugih programa koji rade sa velikim podacima, a sve u okviru razvoja veštačke inteligencije, zasnivao se na stavu da će računarski algoritmi raditi mnogo bolje ako ih snabdemo većim brojem podataka. Ljudi koji su uložili ogroman novac u razvoj ove oblasti smatraju da će veštačka inteligencija probrati prave podatke iz gomile podataka kojim je snabdevamo i tako utvrditi obrasce koji će nam pomoći da budemo efikasniji, bogatiji i srećniji.
Međutim, već smo videli da gomilanjem podataka dolazimo do problema, a to je kako da sprečimo programe da istaknu neravnopravnosti u društvu. Setimo se samo kako je program kompanije Google za prepoznavanje lica obeležio nekoliko crnaca kao gorile, dok je program za oglašavanje LinkedIn u pretrazi davao prednost muškim imenima ili kako je robot Tay kompanije Microsoft, pošto je ceo dan učio od Twitter- a, počeo da izbacuje antisemitske parole. Takvi slučajevi su odmah okarakterisani kao omaške i ubrzo ispravljeni. Međutim, Compas i slični programi suočavaju se sa mnogo ozbiljnijim problemom; pokazali su kako programi mogu da imitiraju sistemske predrasude koje ljudi decenijama pokušavaju da isprave.