Przystanek nauka - portal Uniwesytetu Śląskiego w Katowicach

Dr Dominika Iwan-Sojka z Instytutu Nauk Prawnych Uniwersytetu Śląskiego kieruje projektem pt. Zakaz dyskryminacji w algorytmicznym podejmowaniu decyzji, realizowanym w ramach konkursu Preludium finansowanym przez Narodowe Centrum Nauki.

– Motywem do podjęcia badań było różnicujące traktowanie kobiet i mężczyzn, którego bezpośrednio doświadczyłam, korzystając z poczty elektronicznej do korekty zdań, wykorzystującej tzw. uczenie maszynowe – mówi badaczka. – Zauważyłam, że zdania w formie żeńskiej zaznaczane są jako błędne i sugerowana jest „poprawna” odpowiedź w formie męskiej. Próbowałam się skontaktować z właścicielem poczty odpowiedzialnym za ten produkt, ale nigdy nie dostałam odpowiedzi. To doprowadziło mnie do zastanowienia, dlaczego jako kobieta korzystająca z usług cyfrowych jestem postrzegana jako błąd.

Okazuje się, że poprawianie języka na formę męską to mały problem w porównaniu ze skalą dyskryminacji w usługach publicznych i prywatnych stosujących systemy zautomatyzowane (oparte na automatycznym podejmowaniu decyzji; system dostaje dane wejściowe, oblicza je i kategoryzuje) oraz zautonomizowane (oparte na uczeniu maszynowym; do trenowania modeli używa się wielkich zbiorów danych). W przypadku usług prywatnych, które są mniej uregulowane, dyskryminacja dotyczy m.in. wyświetlania osobom z różnych części kraju odmiennych cen. Poważniejszym wyzwaniem staje się jednak zróżnicowany dostęp do ofert pracy czy pośrednictwo w rozpowszechnianiu mowy nienawiści.

– Firma Meta spotkała się z wieloma skargami dotyczącymi ograniczania widoczności ofert pracy dla określonych grup, np. mniejszości seksualnych lub kobiet. Platforma działała w taki sposób, że pracodawcy mogli wyłączyć widoczność ogłoszenia o pracy dla konkretnych użytkowników Facebooka – wyjaśnia dr Dominika Iwan-Sojka.

Badaczka zwraca uwagę, że takie sprawy zazwyczaj kończą się ugodą prywatną, co powoduje, że nie ma dostępu do całego postępowania czy treści samego porozumienia.

– Nie wiemy zatem, co w tym przypadku Meta uznała za naruszenie, a co podnosiły ofiary. Dostęp do informacji dotyczących stosowanych modeli opartych na uczeniu maszynowym jest dla nas zatem niejasny – mówi prawniczka.

Inną kwestią jest sektor publiczny. Część państw, zainspirowanych rozwiązaniami z sektora prywatnego, automatyzuje lub autonomizuje pewne procesy decyzyjne, które są powtarzalne. Ubezpieczenia społeczne, prawo podatkowe, wymiar sprawiedliwości karnej, przewidywanie orzeczeń poszczególnych sędziów to niektóre obszary wykorzystywania coraz to nowszych systemów opartych na automatycznym lub częściowo autonomicznym podejmowaniu decyzji.

– Państwa nie radzą sobie z danymi wejściowymi i konceptualizacją zastosowania modeli automatycznego lub częściowo autonomicznego podejmowania decyzji, ponieważ okazuje się, że w obszarach, w których państwo chce zastosować te modele, nie bierze się pod uwagę kontekstu podejmowania decyzji kształtującej sytuację jednostki, a który człowiek zapewne wziąłby pod uwagę – zauważa naukowczyni.

Przykładem dyskryminującego systemu jest Robodebt przyjęty w 2016 roku w Australii. Jego celem było obliczanie należności dla państwa wynikających z ubezpieczeń społecznych dla osób poszukujących pracy.

– Model ten brał pod uwagę bardzo dziwny przelicznik wynagrodzeń, który został sprowadzony do dwutygodniowego okresu rozliczeniowego. Tymczasem większość osób korzystających z tych ubezpieczeń podejmowało pracę bardzo nieregularnie, np. tylko w czasie wakacji. System rozbijał to na okres roczny i stwierdzał, że takim osobom nie należą się świadczenia i nakazywał zwrot pieniędzy – wyjaśnia badaczka.

Innym przykładem jest system SyRI wprowadzony w Królestwie Niderlandów, który miał za zadanie identyfikować osoby wyłudzające świadczenia społeczne. Państwo nie udostępniło algorytmu wykorzystywanego do obliczania ryzyka, ale dzięki postępowaniu wszczętemu przez organizacje pozarządowe przyznano, że system był stosowany tylko wobec osób należących do mniejszości narodowych, etnicznych i religijnych.

– Często dochodzi do takich nieprzemyślanych sytuacji, ponieważ osoby stojące za wdrożeniem systemów optymalizujących pracę człowieka nie biorą pod uwagę okoliczności, w jakich system będzie stosowany, wobec kogo, a także jaki w zasadzie jest jego cel – przyznaje dr D. Iwan-Sojka. W dodatku w przypadku sektora publicznego rzadko są brane pod uwagę opinie użytkowników. Inaczej jest w sektorze prywatnym – możemy oceniać aplikacje, z których korzystamy, a przedsiębiorstwa wykorzystują informacje zwrotne od użytkowników, aby ulepszać swoje produkty cyfrowe.

– Niestety, dogłębna refleksja w przypadku instytucji państwowych pojawia się dopiero wtedy, kiedy dany model jest poddany kontroli sądowej lub quasi-sądowej – dopowiada badaczka.

Jeszcze bardziej ryzykowne jest stosowanie do oceny ryzyka i kategoryzowania jednostek modeli wykorzystujących uczenie maszynowe. Dr D. Iwan-Sojka podaje przykład Stanów Zjednoczonych, w których problem dyskryminacji jest wszechobecny. W tamtejszym systemie sprawiedliwości dostrzeżono, że sędziowie są stronniczy i dyskryminują osoby ze względu na rasę lub płeć. Pojawił się więc pomysł, aby zastąpić ocenę wymiaru kary po skazaniu opartym na ryzyku powrotności do przestępstwa systemem. Do tego celu użyto modelu COMPAS, który dostarczał raporty mające być wskazówką dla sędziego, w jakich widełkach kary powinna znaleźć się dana osoba.

– W 2016 roku grupa naukowców opublikowała raport, w którym zbadała ten system. Okazało się, że dyskryminuje on osoby ze względu na rasę i płeć, przez co sędziowie, opierając się na raporcie z COMPAS-u, wydawali wyroki o wiele wyższe wobec osób czarnoskórych – wyjaśnia prawniczka.

W przypadku modeli opartych na uczeniu maszynowym, które są szkolone na różnych zbiorach danych, pojawiają się problemy braku dostępu do danych testowych oraz niereprezentatywności zbiorów danych.

– W latach 80. uniwersytety angielskie wdrożyły program zautomatyzowania decyzji o przyjęciu na studia. Program jako dane szkoleniowe wykorzystywał dane z poprzednich lat. Tylko że wtedy mieliśmy jeszcze całkiem spory problem z dyskryminacją ze względu na płeć. Model ten wytrenował się tak, że gdy kobieta miała takie same kwalifikacje jak mężczyzna, była wykluczana – mówi naukowczyni.

Innym przykładem jest problem, jaki występował w wyszukiwarce Google, a konkretnie w funkcji rozpoznawania obrazów – osoby czarnoskóre były identyfikowane jako goryle. Ze względu na tzw. czarną skrzynkę (znane są dane wejściowe i rezultat, ale nie sposób dojścia do wytłumaczenia rezultatu) inżynierowie oprogramowania nie mogli określić źródła problemu, dlatego wyłączyli tę funkcjonalność.

– Fakt, że jako ludzie mamy skłonność do korzystania z technicznych rozwiązań jako czegoś całkowicie obiektywnego, neutralnego, jest często przez nas pomijany – zauważa dr D. Iwan-Sojka.

W jaki sposób zatem można walczyć z dyskryminacją przez systemy oparte na uczeniu maszynowym? Osoby fizyczne lub prawne mogą pozwać państwo o stosowanie takich modeli niezgodnie z prawem. Pojawia się tu jednak szereg wyzwań.

– Po pierwsze, jednostka nawet jeżeli jest przedmiotem decyzji modelu uczenia maszynowego, ma problem z wykazaniem zdolności procesowej. Dlatego próbuje się zaskarżać takie systemy poprzez działania w ramach actio popularis, czyli skargi składanej w interesie publicznym, głównie przez organizacje pozarządowe – wyjaśnia naukowczyni. – Po drugie, w takich postępowaniach sądowych spotykamy się z nierównorzędnością stron, ponieważ państwa nie udostępniają informacji o systemach (jakie są dane źródłowe, jak działają, dlaczego i wobec kogo były stosowane). Po trzecie, najbardziej problematyczne jest to, że jednostka powinna udowodnić swoje roszczenia, np. że państwo różnicująco traktowało ją w odniesieniu do innych. Tymczasem, ze względu na asymetrię informacji pomiędzy stronami postępowania, jest to niemożliwe. Remedium na to może być standard przyjęty w ramach prawa Unii Europejskiej w sprawach o naruszenie zakazu dyskryminacji, który przerzuca ciężar dowodu na pozwanego.

W walce z dyskryminacją może być pomocny także przyjęty w marcu 2024 roku przez Parlament Europejski akt w sprawie sztucznej inteligencji. Klasyfikuje on modele oparte na uczeniu maszynowym pod względem ryzyka dla człowieka. Celem jest m.in. nałożenie konkretnych obowiązków na wielkie przedsiębiorstwa (np. Meta, Google, Amazon, Microsoft), które wywodzą się z innego porządku prawnego niż europejski, ponieważ główną siedzibę mają w Stanach Zjednoczonych.

– Nie zawsze korzystanie z techniki jest potrzebne. Czasem wystarczy zastanowić się, czy na pewno potrzebujemy danego narzędzia, i ocenić ryzyka jego zastosowania. Do tej oceny powinniśmy angażować przedstawicielki i przedstawicieli mniejszości, organizacji pozarządowych i instytucji naukowych. Bez tego tworzenie takich narzędzi na żywym organizmie, jakim jest społeczeństwo, prowadzi czasem do absurdalnych rozwiązań – konkluduje dr D. Iwan-Sojka.

Olimpia Orządała

Artykuł został opublikowany w "Gazecie Uniwersyteckiej UŚ" [nr 8 (318) maj 2024]