Pytanie, czy algorytmy mają uprzedzenia, prowokuje do głębokiej refleksji nad naturą technologii, którą tworzymy. W swojej czysto matematycznej istocie algorytm nie ma uprzedzeń – to jedynie zestaw instrukcji, reguł obliczeniowych dążących do optymalizacji określonej funkcji celu. Jednakże, algorytm odzwierciedla i wzmacnia uprzedzenia, które istnieją w danych, na których jest trenowany, oraz w ludzkich decyzjach, które go kształtują. To właśnie dlatego systemy sztucznej inteligencji mogą przejawiać, a często przejawiają, głęboką i szkodliwą stronniczość. Problem nie leży w „świadomości” maszyny, ale w tym, że uczy się ona na odbiciu naszego świata – świata pełnego historycznych i aktualnych nierówności, stereotypów oraz systemowych niesprawiedliwości. Kiedy taki zniekształcony obraz staje się paliwem dla algorytmu, ten utrwala i czasem eskaluuje te skrzywienia na skalę dotąd niespotykaną.
Źródła stronniczości są wielorakie, a najważniejszym jest stronniczość w danych treningowych. Jeśli system rekrutacyjny AI jest trenowany na historycznych danych zatrudnienia firmy, która w przeszłości preferowała mężczyzn na stanowiskach technicznych, algorytm nauczy się, że „bycie mężczyzną” jest silnie skorelowane z sukcesem w pracy. Będzie wówczas faworyzował CV mężczyzn, penalizując kobiety, nawet jeśli ich kwalifikacje są identyczne. W ten sposób utrwala historyczną dyskryminację, ubierając ją w pozornie obiektywny płaszczyk „optymalnego dopasowania”. Podobnie, systemy rozpoznawania twarzy trenowane głównie na zdjęciach osób o jasnej karnacji mają dramatycznie niższą skuteczność w przypadku osób o ciemniejszej skórze, co prowadzi do realnych konsekwencji w zastosowaniach policyjnych czy biometrycznych. Brak reprezentatywności w danych jest więc pierwszym grzechem pierworodnym stronniczej AI.
Kolejnym źródłem jest stronniczość w projektowaniu. Ludzie – programiści, projektanci, menedżerowie – podejmują kluczowe decyzje: jaki problem ma rozwiązywać algorytm, jak zdefiniować „sukces” (funkcję straty), jakie cechy (features) uznać za istotne. Jeśli zespół jest jednorodny (np. brak w nim różnorodności płciowej, etnicznej czy społeczno-ekonomicznej), może nie dostrzec, że pewne założenia są obciążone własnym, ograniczonym punktem widzenia. Na przykład, system oceny zdolności kredytowej, który jako pozytywną cechę bierze pod uwagę historię konta w konkretnym, elitarnym banku, pośrednio dyskryminuje społeczności, które historycznie nie miały do niego dostępu.
Niezwykle niebezpiecznym zjawiskiem jest także samo-spełniająca się przepowiednia i cykl wzmocnienia (feedback loop). Załóżmy, że algorytm polecający treści w mediach społecznościowych zauważa, że użytkownicy dłużej angażują się z treściami pełnymi gniewu i teorii spiskowych. Zwiększa więc ich promocję. Więcej ludzi je widzi i z nimi wchodzi w interakcję, co dostarcza algorytmowi jeszcze więcej „dowodów”, że to są właściwe treści do promowania. W ten sposób system aktywnie kształtuje rzeczywistość, która potwierdza jego początkowo przypadkowe lub oparte na skrzywionych danych założenia. Podobnie, predykcyjny system policyjny, który nakierowuje patrole na dzielnice uznane historycznie za „wysokoprzestępcze” (często zamieszkane przez mniejszości), znajdzie tam proporcjonalnie więcej wykroczeń po prostu dlatego, że obecność patroli jest tam większa. Zebrane dane „potwierdzą” słuszność prognoz algorytmu, który w kolejnej iteracji jeszcze intensywniej skoncentruje tam nadzór, pogłębiając spiralę dyskryminacji.
Walka ze stronniczością algorytmów to jedno z najważniejszych wyzwań etycznych naszej ery. Wymaga ona wielotorowego działania. Po pierwsze, konieczny jest świadomy audyt danych i algorytmów – aktywne poszukiwanie ukrytych uprzedzeń na każdym etapie, od zbierania danych, przez ich oczyszczanie, po testowanie gotowego modelu na zróżnicowanych grupach. Po drugie, niezbędna jest różnorodność w zespołach tworzących i wdrażających AI – różne perspektywy pozwalają wcześniej dostrzec potencjalne pułapki etyczne i projektowe. Po trzecie, potrzebujemy rozwoju dziedziny sprawiedliwości algorytmicznej (algorithmic fairness), która tworzy matematyczne ramy definiujące i mierzące „sprawiedliwość” (np. równy wskaźnik fałszywie pozytywnych decyzji dla wszystkich grup) i implementuje je w procesie uczenia modeli. Po czwarte, kluczowa jest przejrzystość i odpowiedzialność. Użytkownicy, na których decyzje algorytmu mają wpływ (np. odrzuceni kandydaci do pracy), powinni mieć prawo do zrozumienia ogólnych zasad działania systemu i skutecznego odwołania. Ostatecznie, algorytmy same z siebie nie są ani sprawiedliwe, ani niesprawiedliwe. Są lustrem, które odbija nasze wartości, nasze uprzedzenia i nasze zaniedbania. Problem stronniczości danych w systemach AI to w gruncie rzeczy problem naszej ludzkiej stronniczości, która została zdigitalizowana i wzmocniona. Rozwiązanie go nie leży w technice samej, ale w naszej zbiorowej woli, by stworzyć bardziej sprawiedliwy świat – zarówno ten offline, którego dane zbieramy, jak i online, który algorytmy pomagają nam kształtować.