Meredith Broussard jest niezwykle dobrze przygotowana do rozbiórki trwającego szumu wokół AI. Jest naukowcem zajmującym się danymi i profesorem nadzwyczajnym na Uniwersytecie Nowojorskim, a od lat jest jednym z czołowych badaczy w dziedzinie algorytmicznej stronniczości.
I choć jej własna praca pozostawia ją zakopaną w problemach matematycznych, ostatnie kilka lat spędziła na myśleniu o problemach, których matematyka nie może rozwiązać. Jej refleksje trafiły do nowej książki o przyszłości AI. W More than a Glitch, Broussard argumentuje, że konsekwentnie zbyt chętnie stosujemy sztuczną inteligencję do problemów społecznych w niewłaściwy i szkodliwy sposób. Jej głównym twierdzeniem jest to, że używanie narzędzi technicznych do rozwiązywania problemów społecznych bez uwzględnienia rasy, płci i zdolności może spowodować ogromne szkody.
Broussard również niedawno wyleczyła się z raka piersi, a po przeczytaniu drobnego druku swojej elektronicznej dokumentacji medycznej zdała sobie sprawę, że SI odegrała rolę w jej diagnozie – co jest coraz częstsze. To odkrycie skłoniło ją do przeprowadzenia własnego eksperymentu, aby dowiedzieć się więcej o tym, jak dobra jest SI w diagnostyce raka.
Usiedliśmy, aby porozmawiać o tym, co odkryła, a także o problemach z wykorzystaniem technologii przez policję, granicach „sprawiedliwości AI” i rozwiązaniach, które widzi dla niektórych wyzwań, jakie stawia AI. Rozmowa została zredagowana dla jasności i długości.
Uderzyła mnie osobista historia, którą dzielisz się w książce o AI jako części własnej diagnozy raka. Czy możesz powiedzieć naszym czytelnikom, co zrobiłeś i czego się nauczyłeś z tego doświadczenia?
Na początku pandemii zdiagnozowano u mnie raka piersi. Utknęłam w środku nie tylko dlatego, że świat był zamknięty; utknęłam w środku również dlatego, że miałam poważną operację. Gdy pewnego dnia grzebałam w swojej karcie, zauważyłam, że jeden z moich skanów mówi, Ten skan został odczytany przez SI. Pomyślałem, Dlaczego SI odczytała mój mammogram? Nikt mi o tym nie wspominał. Było to po prostu w jakiejś niejasnej części mojej elektronicznej dokumentacji medycznej. Byłem bardzo ciekawy stanu wiedzy na temat wykrywania raka opartego na SI, więc wymyśliłem eksperyment, aby sprawdzić, czy mogę powtórzyć moje wyniki. Wziąłem swoje własne mammogramy i przepuściłem je przez open-source’ową sztuczną inteligencję, aby sprawdzić, czy wykryje ona mojego raka. Odkryłem, że miałem wiele błędnych przekonań na temat działania sztucznej inteligencji w diagnostyce nowotworów, które opisuję w książce.
[Gdy Broussard uzyskała działanie kodu, AI ostatecznie przewidziała, że jej własny mammogram wykazał raka. Jej chirurg powiedział jednak, że użycie technologii było całkowicie zbędne dla jej diagnozy, ponieważ ludzcy lekarze mieli już jasny i precyzyjny odczyt jej obrazów.]
Jedną z rzeczy, które zdałem sobie sprawę, jako pacjent z rakiem, było to, że lekarze i pielęgniarki oraz pracownicy służby zdrowia, którzy wspierali mnie w mojej diagnozie i odzyskiwaniu, byli tak niesamowici i tak kluczowi. Nie chcę jakiejś sterylnej, obliczeniowej przyszłości, w której pójdziesz i zrobisz sobie mammografię, a potem małe czerwone pudełko powie To jest prawdopodobnie rak. To właściwie nie jest przyszłość, której ktokolwiek chce, gdy mówimy o chorobie zagrażającej życiu, ale nie ma tam tak wielu badaczy AI, którzy mają własne mammografy.
Słyszy się czasem, że gdy AI bias zostanie wystarczająco „naprawiony”, technologia ta może być znacznie bardziej wszechobecna. Piszesz, że ten argument jest problematyczny. Dlaczego?
Jednym z dużych problemów, jakie mam z tym argumentem, jest ten pomysł, że w jakiś sposób AI osiągnie swój pełny potencjał i że to jest cel, do którego wszyscy powinni dążyć. AI to tylko matematyka. Nie uważam, że wszystko na świecie powinno być rządzone przez matematykę. Komputery są naprawdę dobre w rozwiązywaniu problemów matematycznych. Ale nie są zbyt dobre w rozwiązywaniu kwestii społecznych, a jednak są stosowane do problemów społecznych. Ten rodzaj wyobrażonej gry końcowej Oh, po prostu będziemy używać AI do wszystkiego nie jest przyszłością, pod którą się podpisuję.
Piszesz też o rozpoznawaniu twarzy. Niedawno usłyszałem argument, że ruch na rzecz zakazu rozpoznawania twarzy (zwłaszcza w policji) zniechęca do wysiłków, by uczynić tę technologię bardziej sprawiedliwą lub dokładniejszą. Co o tym sądzisz?
Zdecydowanie zaliczam się do obozu osób, które nie popierają stosowania rozpoznawania twarzy w policji. Rozumiem, że jest to zniechęcające dla ludzi, którzy naprawdę chcą go używać, ale jedną z rzeczy, które zrobiłem podczas badania książki, jest głębokie nurkowanie w historii technologii w policji, a to, co znalazłem, nie było zachęcające.
Zacząłem od znakomitej książki Black Software przez [NYU professor of Media, Culture, and Communication] Charlton McIlwain, , a pisze o tym, że IBM chciał sprzedać dużo swoich nowych komputerów w tym samym czasie, kiedy mieliśmy tzw. wojnę z ubóstwem w latach 60. Ludzie, którzy naprawdę chcieli sprzedawać maszyny, szukali problemu, do którego mogliby je zastosować, ale nie rozumieli problemu społecznego. I tak szybko, aż do dziś, wciąż żyjemy z katastrofalnymi skutkami decyzji, które wtedy podjęto.
Policja nie jest też lepsza w używaniu technologii niż ktokolwiek inny. Jeśli mówilibyśmy o sytuacji, w której każdy jest najwyższej klasy informatykiem, który został przeszkolony we wszystkich intersekcjonalnych socjologicznych kwestiach dnia, a my mieliśmy społeczności, które miały w pełni finansowane szkoły i mieliśmy, wiesz, sprawiedliwość społeczną, wtedy byłaby to inna historia. Ale żyjemy w świecie z wieloma problemami, a rzucanie większej ilości technologii na już przeholowane czarne, brązowe i biedniejsze dzielnice w Stanach Zjednoczonych nie pomaga.
Omawiasz ograniczenia nauki o danych w pracy nad problemami społecznymi, a przecież sam jesteś naukowcem od danych! Jak doszło do tego, że zdałeś sobie sprawę z ograniczeń swojej własnej profesji?
Spędzam czas z wieloma socjologami. Jestem żonaty z socjologiem. Jedną z rzeczy, która była dla mnie naprawdę ważna w myśleniu o wzajemnym oddziaływaniu socjologii i technologii, była rozmowa, którą odbyłem kilka lat temu z Jeffem Lane’em, socjologiem i etnografem [as an associate professor at Rutgers School of Information].
Zaczęliśmy rozmawiać o bazach danych gangów, a on powiedział mi coś, czego nie wiedziałem, a mianowicie, że ludzie mają tendencję do starzenia się z gangów. Nie wchodzisz do gangu i nie zostajesz w nim do końca życia. I pomyślałem, Jeśli ludzie wychodzą z gangu, to założę się, że nie są usuwani z policyjnych baz danych. Wiem, jak ludzie używają baz danych i wiem, jak niechlujnie podchodzimy do aktualizacji baz danych.
Więc zrobiłem kilka raportów i na pewno, nie było wymogu, że gdy nie jesteś już zaangażowany w gang, twoje informacje zostaną oczyszczone z lokalnej policyjnej bazy danych o gangach. To właśnie sprawiło, że zacząłem myśleć o bałaganie naszego cyfrowego życia i sposobie, w jaki może to skrzyżować się z technologią policyjną w potencjalnie niebezpieczny sposób.
Klasyfikacja predykcyjna jest coraz częściej stosowana w szkołach. Czy powinno nas to martwić? Kiedy stosowanie algorytmów predykcyjnych jest właściwe, a kiedy nie?
Jedną z konsekwencji pandemii jest to, że wszyscy mieliśmy szansę zobaczyć z bliska, jak głęboko nudny staje się świat, gdy jest całkowicie zapośredniczony przez algorytmy. Nie ma serendipity. Nie wiem jak wy, ale ja podczas pandemii absolutnie trafiłem na koniec silnika rekomendacji Netflixa, a tam po prostu nic nie ma. Odkryłem, że zwracam się do wszystkich tych bardzo ludzkich metod, aby wtrącić więcej serendipity do odkrywania nowych pomysłów.
Dla mnie to jedna ze wspaniałych rzeczy w szkole i w nauce: jesteś w klasie z tymi wszystkimi innymi ludźmi, którzy mają różne doświadczenia życiowe. Jako profesor, przewidywanie z góry ocen studentów jest przeciwieństwem tego, czego chcę w mojej klasie. Chcę wierzyć w możliwość zmiany. Chcę, aby moi studenci byli dalej w swojej podróży edukacyjnej. Algorytm, który mówi Ten uczeń jest taki, więc prawdopodobnie będzie taki jest sprzeczne z całym sensem edukacji, jeśli o mnie chodzi.
Czasami zakochujemy się w idei statystyki przewidującej przyszłość, więc absolutnie rozumiem chęć tworzenia maszyn, które sprawiają, że przyszłość jest mniej niejednoznaczna. Ale musimy żyć z nieznanym i pozostawić przestrzeń dla nas, aby zmienić się jako ludzie.
Czy możesz powiedzieć mi o roli, jaką według ciebie ma audyt algorytmiczny w bezpieczniejszej, bardziej sprawiedliwej przyszłości?
Audyt algorytmiczny to proces patrzenia na algorytm i badania go pod kątem stronniczości. Jest to bardzo, bardzo nowa dziedzina, więc nie jest to coś, co ludzie wiedzieli jak zrobić 20 lat temu. Ale teraz mamy te wszystkie wspaniałe narzędzia. Ludzie tacy jak Cathy O’Neil i Deborah Raji wykonują wspaniałą pracę w zakresie audytu algorytmów. Mamy wszystkie te matematyczne metody oceny uczciwości, które wywodzą się ze społeczności konferencji FAccT [which is dedicated to trying to make the field of AI more ethical]. Jestem bardzo optymistyczny, jeśli chodzi o rolę audytu w pomaganiu nam w uczynieniu algorytmów bardziej sprawiedliwymi i bardziej sprawiedliwymi.
W swojej książce krytykujesz zwrot „czarna skrzynka” w odniesieniu do uczenia maszynowego, argumentując, że błędnie sugeruje on, że niemożliwe jest opisanie działania wewnątrz modelu. Jak powinniśmy mówić zamiast tego o uczeniu maszynowym?
To jest naprawdę dobre pytanie. Cała moja rozmowa o audycie jakby eksplodowała nasze pojęcie „czarnej skrzynki” Kiedy zacząłem próbować wyjaśnić systemy obliczeniowe, zdałem sobie sprawę, że „czarna skrzynka” jest abstrakcją, której używamy, ponieważ jest wygodna i ponieważ nie często chcemy wdawać się w długie, skomplikowane rozmowy o matematyce. Co jest sprawiedliwe! Chodzę na tyle przyjęć koktajlowych, że rozumiem, iż nie chcesz wdawać się w długie rozmowy o matematyce. Ale jeśli mamy zamiar podejmować decyzje społeczne za pomocą algorytmów, musimy nie tylko udawać, że są one niewytłumaczalne.
Jedną z rzeczy, o których staram się pamiętać, jest to, że są rzeczy, które są nieznane w świecie, a następnie są rzeczy, które są nieznane do mnie. Kiedy piszę o systemach złożonych, staram się naprawdę jasno określić, na czym polega różnica.
Kiedy piszemy o systemach uczenia maszynowego, kuszące jest, aby nie zagłębiać się w chwasty. Ale wiemy, że te systemy są dyskryminujące. Minął czas, kiedy reporterzy mogli po prostu powiedzieć Och, nie wiemy, jakie są potencjalne problemy w systemie. Możemy się domyślać, jakie są potencjalne problemy i zadawać trudne pytania. Czy ten system został oceniony pod kątem stronniczości opartej na płci, na zdolnościach, na rasie? W większości przypadków odpowiedź brzmi: nie, i to musi się zmienić.
More than a Glitch: Confronting Race, Gender, and Ability Bias in Tech trafi do sprzedaży 14 marca 2023 roku.
