W sidłach algorytmów

Rewolucja internetowa lat 90. XX wieku doprowadziła do sytuacji, w której coraz więcej dziedzin życia opiera się na wykorzystaniu technologii informatycznych i zdalnego dostępu do licznych wirtualnych usług. Algorytmy sztucznej inteligencji, w naszych czasach masowo obecne w sieci, zbierające i analizujące dane o każdym użytkowniku, zaglądają głęboko w nasze życie, tworząc schematy manipulacji opinią publiczną poprzez prowadzenie skoordynowanych kampanii marketingowych (także marketingu politycznego), dezinformacyjnych i dezawuowania przeciwników.

Choć przeciętny użytkownik portali społecznościowych czy serwisów randkowych nie zdaje sobie z tego sprawy, za ich kulisami trwa prawdziwa cyberwojna, w której orężem stały się ataki hakerów, coraz bardziej zaawansowane komputerowe wirusy i kampanie posiłkujące się półprawdami i zmyśleniami. Dobrze zaplanowane działania propagandowe, oparte na dezinformacji i fake newsach, prowadzone w portalach społecznościowych o globalnych zasięgu, mogą kreować dowolne wydarzenia i sterować opinią publiczną. Ich celem zaś może być dostęp do kluczowych danych, pozwalających choćby na zwiększenie zysków, aż – w ekstremalnych przypadkach – do utrudniania działalności konkurencyjnych firm czy doprowadzenie do upadku gospodarki dowolnego kraju.

Autorzy prezentują w książce “Strefy cyberwojny” kilkanaście przykładów pokazujących niebezpieczeństwa czające się we współczesnym internecie: szpiegostwo wojskowe i przemysłowe, działania stricte wojenne przeciw infrastrukturze gospodarczej i społecznej przeciwnika, marketing i zarabianie pieniędzy przez ponadnarodowe korporacje, dezinformacja i wpływanie na decyzje wyborcze czy działania przestępcze (nowoczesne formy napadów na banki, kradzież tożsamości).

Wszechobecne algorytmy

Dziennikarze rozpoczynają wędrówkę po mniej znanych zakamarkach internetu od prezentacji działania podstawowych narzędzi – programistycznych algorytmów, tworzonych do obsługi różnych zadań – od najprostszego reagowania na działanie użytkownika po skomplikowane analizy i manipulację danymi i informacją. Te ostatnie, dzięki rosnącej mocy obliczeniowej komputerów i operowania na bardzo dużej liczbie danych (big data), są coraz bardziej skuteczne, a przeciętny użytkownik smartfona i laptopa jest wobec nich coraz bardziej bezbronny. Tworzone przez służby rządowe i globalne przedsiębiorstwa algorytmy zamieniają internet w strefę nowoczesnej i niewidocznej na pierwszy rzut oka rozgrywki, której wynik może w każdej chwili rozstrzygnąć o losach państw, grup społecznych a nawet całej planety.

Propaganda i dezinformacja

Autorzy pokazują w książce potencjalne kierunki permanentnego elektronicznego nadzoru nad społeczeństwem, czego przykładem jest system lojalnościowy testowany obecnie w Chinach i planowany do wprowadzenia na skalę krajową za 2-3 lata, a który jest niczym innym, jak nowoczesnym narzędziem stałego inwigilowania przez rząd wszystkich obywateli i wymuszaniem metodą kija i marchewki pożądanych zachowań. Brzmi znajomo? Tak, Wielki Brat patrzy i nie potrzebuje już armii donosicieli, wystarczą miliony kamer i elektroniczne monitorowanie każdej aktywności obywatela, z przydzielaniem punktów plusowych i minusowych, by uzyskać społeczeństwo posłuszne linii wytyczonej przez rząd.

Ogólnie ludzie, jak włączają internet, to mało myślą.

Agata Kaźmierska i Wojciech Brzeziński poruszają też takie zagadnienia, jak zmanipulowanie społeczeństwa i wzbudzenie paniki przy użyciu armii botów i zautomatyzowanych fikcyjnych kont w portalach społecznościowych, szerzących dezinformację, stosunkowo nowe zjawisko fake newsów i sterowanie mediami.

Cyberataki

Spowodowanie krachu finansowego na światowych giełdach czy wyłączenie sieci energetycznych dowolnego państwa nie stanowi obecnie większego problemu dla grup fachowców opłacanych przez rządy czy duże korporacje. Na tym polu trwa nieustanna walka, ciągle powstają nowe metody ataku i obrony, a w newralgicznych punktach systemów gospodarczych i wojskowych co rusz odkrywane są wprowadzone przez wrogów uśpione robaki czekające tylko na sygnał do ataku.
Jako przykład cyberwojny podaje się atak na Estonię w 2007 roku, gdy po raz pierwszy w historii za pomocą ataku internetowego obcemu państwu udało się sparaliżować na pewien czas funkcjonowanie ważnych instytucji państwowych i prywatnych, w tym banków. Druga cyberwojna miała miejsce w sierpniu 2008 roku, gdy rosyjskim hakerom udało się w znacznym stopniu utrudnić funkcjonowanie gruzińskich struktur władzy. Tym razem także spore znaczenie miało wykorzystanie cyberprzestrzeni do działalności propagandowej.
Z kolei we wrześniu 2010  roku odnotowano pierwszy cybersabotaż przy użyciu wirusa bojowego Stuxnet, który zniszczył około 1000 z 5000 wirówek wzbogacających uran w zakładzie Natanz pracującego w ramach programu atomowego Iranu.
Wydarzenia te udowodniły więc, że zagrożenia płynące z cyberprzestrzeni są jak najbardziej realne i państwo czy międzynarodowe korporacje posiadające odpowiedni potencjał techniczny może zablokować funkcjonowanie infrastruktury krytycznej państwa lub innej korporacji za pomocą ataków w sieciach teleinformatycznych.

Internetowa bitwa o pieniądze

Internet stał się także polem bitwy o pieniądze jego użytkowników. Sieć stała się wielkim, globalnym bazarem, pełnym wszelkich towarów, ale też naciągaczy, oszustów i złodziei, którzy żerują na nieuwadze, naiwności i nieostrożności. To tu możesz stracić jak najbardziej realne pieniądze i dane, które przyniosą innym zyski lub korzyści polityczne, gdy precyzyjnie spersonalizowana reklama i marketing ukształtuje postrzeganie i światopogląd użytkowników w stopniu nieosiągalnym dla działań konwencjonalnych. Cytowany przez autorów Paul-Olivier Dehaye, prawnik z PersonalData.IO mówi: “Kierujemy się w stronę coraz bardziej nieprzezroczystego społeczeństwa, w stronę coraz bardziej niedotykalnego świata, gdzie dane zebrane na twój temat będą miały wpływ na coraz więcej obszarów twojego życia. Ostatecznie wpłyną na całą twoją egzystencję”. Trudno też nie zgodzić się z opinią dra Alberta Hupy, socjologa, prezesa agencji badawczej IRCenter: “Marketing polityczny w zasadzie nie różni się wiele od zwykłego marketingu. To jest manipulacja, a ludzie są na nią dość podatni’. (…) Ogólnie ludzie, jak włączają internet, to mało myślą”.

Co dalej?

Sieciowe zmagania służb specjalnych i struktur wojskowych stały się chlebem powszednim rządów w czasach, gdy powstają kolejne wirusy bojowe a cyberszpiegostwo, dywersja i dezinformacja są istotnym elementem walki o przetrwanie w uzależnionym od technologii informatycznych świecie. To świat, w którym armie złożone z połączonych w botnety komputerów zombie mogą skutecznie zakłócić działanie systemów obrony, instytucji rządowych i finansowych, banków i mediów, przy zmasowanym ataku prowadząc do paraliżu kraju i chaosu, a cyberprzestępcy wyposażeni w coraz lepsze narzędzia, wykorzystując naiwność użytkowników, coraz lepiej radzą sobie z kradzieżą pieniędzy i nielegalnym obrotem gospodarczym. Jak mówi cytowany przez autorów szef dużej agencji marketingowej: “Funkcjonujemy w neobarbarzyńskim świecie, z którego z czasem wyłoni się jakiś nowy porządek”. Miejmy nadzieję. ■Robert Wiśniewski

Rozdział 1
DETEKTOR ŚWIADOMOŚCI
Rozdział 2
TEORETYCZNIE NIEGROŹNE
Rozdział 3
INWIGILACJA
Rozdział 4
WSPANIALE KŁAMLIWY
Rozdział 5
TĘCZOWE JEDNOROŻCE
Rozdział 6
TOKSYCZNA CHMURA
Rozdział 7
FLASH CRASH
Rozdział 8
TO NIE BYŁY WIEWIÓRKI
Rozdział 9
CAMBRIDGE ANALYTICA A SPRAWA POLSKA
Rozdział 10
CZTERNAŚCIE WARKOCZYKÓW
Rozdział 11
HOMO INTERNETUS

Kawiarnia w centrum miasta. Na stole papierowe kubki po wypitej kawie i serwetki zamazane rysowanymi podczas rozmowy schematami internetowych narzędzi.

– Można dzięki nim wygrywać wybory?
– Nie odpowiem na to pytanie.
– Ale to możliwe?
Milczy. To kolejna nasza rozmowa. I kolejna, która trwa dłużej, niż planowaliśmy. Dopiero po chwili odpowiada: – Ludzie tacy, jak ja, przypominają demiurgów, dla których społeczeństwo jest jak plastelina. Ta plastelina wobec naszych narzędzi jest bezbronna. Im bardziej ją uciskam, tym bardziej daje się modelować. Ta plastelina nie ma żadnych mechanizmów obronnych. W pewnym momencie uświadomiłem sobie, że wybory w demokratycznym państwie zaczęły przypominać starcia demiurgów. Nie wygrywa ich lepszy kandydat. Wygrywa demiurg, który jest najbardziej sprawny w swoim fachu. Tylko czy to jeszcze demokracja?

Wielu naszych rozmówców nie chciało, byśmy podawali ich nazwiska. Różnie tłumaczyli chęć zachowania anonimowości. O ich wiarygodności świadczą sukcesy, nieraz spektakularne, które odnieśli na rynku komercyjnym, oraz faktury wystawiane partiom politycznym. To zresztą niebywała ironia, że dowody na to, jak internet okalecza demokrację, można znaleźć w Państwowej Komisji Wyborczej, w opasłych segregatorach, których zawartość najpewniej nigdy nie zostanie zdigitalizowana.
Żeby to wszystko tak naprawdę zrozumieć, trzeba zacząć od takiego banału jak budzik w telefonie. Rano uruchamia piosenkę, której nigdy wcześniej nie słyszałeś, ale uważasz, że jest fajna. Aplikacja, używająca samouczących się algorytmów, włączyła ją, dobierając ją zgodnie z twoim gustem. Pijąc kawę, czytasz e-maile. To algorytm posegregował je tak, by niechciane wiadomości wpadły do zakładki ze spamem. Odpisujesz komuś na wiadomość? Algorytm dyskretnie poprawi błędy. Jeśli sprawdzasz Facebooka albo Twittera, to kolejne algorytmy wskażą treści, które mogą cię zainteresować. W drodze do pracy nawigacja wyznaczy najszybszą trasę. Zatrzymasz się jeszcze na chwilę w sklepie i zapłacisz kartą? Bankowy algorytm zdecydował, czy zostanie ci wydana. Inny już wie, czy warto ci zaproponować lokatę albo odmówić kredytu.[1]

Algorytmy mają coś ułatwiać i w czymś pomóc.
I to jest w nich wspaniałe, a jednocześnie
najbardziej uzależniające i najbardziej zwodnicze.

Dzień się jeszcze na dobre nie zaczął, a już miałeś kontakt z kilkudziesięcioma algorytmami. Każdy z nich ma coś ułatwiać i w czymś pomóc. Sprawiać, byśmy nie tracili czasu na sprawy w gruncie rzeczy mało istotne. I to jest w algorytmach naprawdę wspaniałe, a jednocześnie najbardziej uzależniające i najbardziej zwodnicze.
Każdy z nich może stać się mikroniteczką, która połączona z inną, odpowiednio usystematyzowana i zaszeregowana, da moc ludziom, których jeden z naszych rozmówców nazwał demiurgami. A oni wpływają nie tylko na to, co się dzieje na scenie politycznej, lecz także w zasadzie na każdą dziedzinę życia.
Pisząc tę książkę, próbowaliśmy sprawdzić, do jakiego stopnia „demiurgowie”, pociągając za właściwe nici i ich sploty, potrafią zmieniać pejzaże otaczającego nas świata. Tego, co robią, nie da się zrozumieć, idąc na skróty. Można oczywiście zacząć od pytania o wpływ algorytmów na demokratyczne wybory, a potem dochodzić, ile głosów przy ich pomocy udało się zdobyć dla jakiegoś kandydata. Tyle że te dane wyrwane z kontekstu potężnych, a jednocześnie błyskawicznie zachodzących zmian oraz bez wiedzy o pułapkach, w których już tkwimy po same uszy, zupełnie nic nie wyjaśnią. Będą prowadzić do znużenia, obojętnego wzruszenia ramionami i frustrującego, corianowskiego wniosku, że już „stworzenie było pierwszym aktem sabotażu”.
Technologia nigdy nie jest ani dobra, ani zła. To od tego, jak ją wykorzystamy, zależy, czy efekty jej działania ocenimy później jako pozytywne czy negatywne. Tylko tyle i aż tyle. Czy ludzie, którzy szybciej niż inni nauczyli się wykorzystywania algorytmów, rzeczywiście są złymi „demiurgami”? Do tej odpowiedzi też nie ma drogi na skróty.
Nie jesteśmy informatykami, specjalistami od big data ani marketingu politycznego, lecz dziennikarzami. Od dawna obserwowaliśmy, jak na masową skalę zaczęły się pojawiać boty, trollkonta, fake newsy i to, jak nowe media wykorzystywane są w kampaniach politycznych. To, jak nasze życie, coraz wygodniejsze dzięki algorytmom, staje się również coraz podatniejsze na ataki i manipulacje.
Po wybuchu skandalu z masowym wyciekiem danych z Facebooka do firmy Cambridge Analytica, gdy w Stanach Zjednoczonych i Wielkiej Brytanii rozpoczęła się wielka debata, u nas temat w zasadzie zamknęło zdanie: „Tej firmy nie było w Polsce”. Podobnie w przestrzeni publicznej w zasadzie nie pojawiają się informacje o próbach inwigilowania czy wpływania na polską cyberprzestrzeń przez Rosjan. Ciekawiło nas, dlaczego tak się dzieje.
„Strefy cyberwojny” to wciąż bardzo niepełna próba inwentaryzacji zagrożeń i pułapek, w które wpadamy. To również próba odpowiedzi na pytanie, do jakiego stopnia „demiurgowie” mają wpływ na nasze opinie czy wybory, nie tylko polityczne.
Nie musimy wiedzieć dokładnie, jak działają skomplikowane narzędzia internetowe. Wydaje się jednak, że powinniśmy mieć świadomość tego, jak wpływają na nasze życie i jak nas zmieniają. Tymczasem wielu z nas, stając w obliczu cyfrowego świata, nieraz zachowuje się jak małpa siedząca przed lustrem. Nikt nie oczekuje, że będzie wiedziała, iż ma do czynienia z jednym z najstarszych wynalazków ludzkiej cywilizacji ani że wymogi środowiskowe zmusiły producentów do rezygnacji z tetratlenku triołowiu na rzecz napylania próżniowego glinem. Istota obdarzona rozumem powinna jednak, patrząc w lustro, wiedzieć, co w nim widzi, i umieć rozpoznać, czy obraz nie został zniekształcony.

Algorytm to – zgodnie z definicją – ciąg zdefiniowanych czynności, koniecznych do wykonania określonego zadania. Najczęściej podawanym przykładem algorytmu jest przepis na ciasto. W określonym czasie należy wykonać serię określonych czynności, dodając określone składniki, by uzyskać określony efekt. Czyli ciasto. Algorytm Google Maps wyznacza trasę między punktem A, w którym się znajdujemy, a punktem B, do którego chcemy dotrzeć. Program analizuje rozkład dróg i natężenie ruchu. Znów: seria określonych działań, by osiągnąć określony cel.
Zadaniem algorytmów – nawet tych najbardziej skomplikowanych – jest upraszczanie i systematyzowanie rzeczywistości.
Są tylko odbiciem świata, a nie nim samym. Intuicyjnie przyjmujemy jednak, że tak samo jak matematyka będą wolne od uprzedzeń. Zapominamy, że ich twórcom przyświecały określone intencje. Autor przepisu chciał, żeby efektem wykonanych czynności było smaczne ciasto. Nie musiał brać pod uwagę potrzeb żywieniowych alergików albo tego, że chorobami cywilizacyjnymi są nadciśnienie i otyłość. W efekcie, choć początkowo „użytkowników” przepisu może pojawić się wielu, jedzenie ciasta – bez brania pod uwagę chorób i spowodowanej przez nie śmiertelności – może ich po pewnym czasie znacząco „zredukować”.
Podobnie Google Maps nie analizuje nasilenia opadów, temperatury ani siły wiatru, choć czynniki atmosferyczne mogą mieć wpływ na to, czy uda się przebyć wyznaczoną trasę. Zadaniem algorytmu jest tylko jej wyznaczenie.
Gdyby używanie algorytmów ograniczyć do robienia ciasta czy pokazywania drogi, żylibyśmy w całkiem innym świecie. Problem w tym, że opisaną przez algorytmy rzeczywistość zaczęliśmy brać za nią samą, a to regularnie prowadzi na manowce. Przykład? Rankingi szkół. W przypadku podstawówek powstają zwykle na podstawie tylko jednego kryterium – średniej ocen, którą uczniowie uzyskali z egzaminów końcowych z języka polskiego, matematyki i języka angielskiego. Zazwyczaj w takim zestawieniu najlepiej wypadają placówki społeczne i prywatne, najsłabiej szkoły z uboższych dzielnic czy miejscowości.
O czym to świadczy? Z pewnością nie o jakości pracy nauczycieli.
Szkoły niepubliczne zwykle są mniejsze od państwowych i mają mniej liczne klasy, by nauczyciel miał więcej czasu dla każdego ucznia i szybciej wychwytywał jego problemy lub zdolności. Można też przyjąć, że rodzice dzieci uczęszczających do szkół prywatnych i społecznych są bardziej skłonni płacić za zajęcia dodatkowe lub korepetycje. Czy to znaczy, że nauczyciel w szkole publicznej, w biednej dzielnicy, uczący liczniejszą klasę, w której rodzice dzieci niechętnie płacą za zajęcia pozalekcyjne, ma mniejsze kompetencje albo że uczy gorzej? Możliwe, że ranking byłby bardziej miarodajny, gdyby brać pod uwagę to, ile jest dzieci w klasie, czas, jaki nauczyciele poświęcają uczniom z trudnościami i wybitnie zdolnym, na jakie zajęcia dodatkowe chodzą te dzieci oraz jak pomocni w procesie edukacyjnym są rodzice. Możliwe, że wtedy można by było wyciągać wnioski na przykład na temat poziomu nauczania. Tyle że tych danych rankingi nie uwzględniają. Pod uwagę brane są wyłącznie wyniki z trzech egzaminów.
Co więc wskazuje ranking? Wielkie brawa dla osób, które umieją wyciągnąć z niego wnioski i wyrobić sobie opinię.
Na etapie podstawówki rankingowe błędne koło dopiero się rozkręca. W Polsce jedno z najbardziej cenionych zestawień uczelni wyższych publikuje magazyn „Perspektywy”. Tutaj brane są pod uwagę nie trzy wskaźniki, ale aż 31. Jednym z nich jest „jakość przyjętych na studia” (uwzględnia wyniki maturalne przyszłych studentów – im lepsze, tym więcej punktów dla uczelni). Znów kryterium wydaje się klarowne i uczciwe. Uczelnie najlepiej notowane w rankingu przyjmują najlepiej punktowanych uczniów i same na tym zyskują. Uczelnie gorzej notowane nie mają takiego wyboru. Przyjmując słabszych maturzystów, dostają mniej punktów. W ten sposób szkoły wyższe, które już były wysoko w rankingu, tylko się w nim umacniają, podczas gdy uczelniom początkowo słabiej ocenionym coraz trudniej gonić za czołówką. To w dalszej perspektywie może się przekładać na wysokość dotacji dla szkoły, opinię o niej, a także czy i jaką pracę dostaną absolwenci. Tymczasem to są kolejne znaczniki brane pod uwagę w rankingu. Dochodzi do sprzężenia zwrotnego. Autorzy zestawienia „Perspektyw” niemal na każdym kroku podkreślają, że to tylko jedno z wielu narzędzi, które ma pomóc w wyborze uczelni. Tworzenie takich rankingów, jeśli brak do nich odpowiedniego dystansu, może jednak prowadzić do patologii.
Matematyk Cathy O’Neil w książce „Broń matematycznej zagłady” szczegółowo opisuje, jak w Stanach Zjednoczonych doroczne zestawienie szkół wyższych, prowadzone od 1983 r. przez magazyn „U.S. News & World Report”, zamiast hołdować wyznawanemu przez prezydenta Lyndona Johnsona ideałowi wyższej edukacji, jako „sposobu na osiągnięcie głębszego osobistego spełnienia, większej osobistej efektywności oraz wzmocnienia poczucia własnej wartości”, zmieniło się w destrukcyjny wyścig o pozycję w kolumnie liczb. „Uniwersytet w Baylor pokrywał studentom koszt ponownego podejścia do testu SAT¹ w nadziei, że za kolejnym razem poprawią wynik, dzięki czemu pozycja uczelni w rankingu wzrośnie.

(1) Dwuetapowy, ustandaryzowany test dla uczniów szkół średnich w USA. Nie jest obowiązkowy, ale stanowi główny czynnik przy selekcji kandydatów na studia.

Małe elitarne szkoły, takie jak Uniwersytet Bucknell w Pensylwanii czy kalifornijski Claremont McKenna, przesyłały sfałszowane dane, podwyższając wyniki swoich studentów w testach SAT. Iona College w Nowym Jorku przyznał zaś w 2011 r., że jego pracownicy manipulowali przy niemalże wszystkich liczbach: wynikach testów, wskaźnikach przyjęć i promocji na następny rok studiów, zdawalności wśród studentów pierwszego roku, proporcji liczby studentów do liczby nauczycieli czy wysokości datków od absolwentów […].
Rankingi »U.S. News« zostały jednak szybko zaakceptowane przez wszystkich – od przyszłych studentów, przez absolwentów, do osób odpowiedzialnych za zatrudnianie pracowników – jako metoda mierzenia jakości kształcenia”. Autor książek o amerykańskim systemie edukacji Peter Sacks o zestawieniu „U.S. News” napisał tak: „W tym rankingu nie ma najmniejszego znaczenia, czego rzeczywiście uczą się studenci, jak uczelnia pomaga w ich rozwoju intelektualnym, etycznym czy osobistym ani jaki wkład ta instytucja wnosi w budowanie dobra publicznego. […] kiedy zauważa się, że wyniki uczniów w testach SAT są głęboko skorelowane z dochodem i wykształceniem ich rodziców, klasą społeczną, w której dziecko się rodzi i wzrasta, zaczyna się rozumieć, czym jest ranking najlepszych amerykańskich uczelni. To niewiele więcej niż pseudonaukowe, a zarazem popularne i legalne narzędzie do utrwalania nierówności: między rodzinami biednymi a bogatymi, między szkołami hojnie obdarowywanymi a tymi które dostają skromne datki”.
Mimo głosów protestu wokół zestawienia „U.S. News” powstał potężny ekosystem. W rankingowym wyścigu brały udział nie tylko uniwersytety tworzące coraz to nowe modele pomagające im w zbieraniu punktów, lecz także uczniowie i ich rodzice przerażeni systemem, który z roku na rok stawał się coraz mniej przejrzysty. Dzisiaj w USA istnieje prężnie działająca branża trudniąca się doradzaniem, jak dostać się na studia. „Przedsiębiorca z Kalifornii, Steven Ma, doprowadził rynkowe podejście do rekrutacji do prawdziwego ekstremum. Założyciel ThinkTank Learning wykorzystuje do oceny potencjalnych studentów swój własny model, wyliczający prawdopodobieństwo, że dostaną się na wymarzone uczelnie. W wywiadzie dla »Bloomberg Businessweek« powiedział, że uczeń ostatniej klasy szkoły średniej, urodzony w Ameryce, ze średnią ocen GPA wynoszącą 3,8 punktu i w testach SAT wynoszącą 2000 oraz z ośmiuset godzinami nadprogramowych zajęć, ma 20,4 proc. szans przyjęcia na Uniwersytet Nowojorski (NYU) oraz 28,1 proc. na Uniwersytet Południowej Kalifornii (USC). ThinkTank oferuje pakiety konsultacyjne. Gdy taki hipotetyczny student, postępując zgodnie z wytycznymi trenerów personalnych, zostanie przyjęty do NYU, zapłaci 25 931 dol., jeśli zaś do USC – 18 826 dol. Jeżeli jego aplikacja zostanie odrzucona, to nie płaci nic.”
Ofiarami systemu stali się przede wszystkim uczniowie z rodzin biednych i należących do klasy średniej, których nie stać na płacenie za doradców i konsultantów. Z mniejszymi szansami już na starcie lądowali na gorszych uniwersytetach, ich dyplomy były gorzej oceniane przez pracodawców, a szanse na lepsze zatrudnienie malały. Bogaci na systemie zyskiwali, nie tylko dostając się na studia na lepszych uczelniach, lecz także mając po nich większe szanse na bardziej satysfakcjonującą i lepiej płatną pracę.
Dlaczego algorytm oceniający uczelnie, którego stworzeniu mógł przyświecać szczytny cel podniesienia poziomu edukacji i ułatwienia decyzji przyszłym studentom, miał tak opłakane skutki? Błąd pojawił się na samym początku, gdy redaktorzy „U.S. News” tworzyli model oceny. Zapewne zadali sobie pytanie, co łączy najlepsze w ich opinii szkoły, takie jak Harvard, Princeton czy Yale. Cathy O’Neil nie ma wątpliwości, że redaktorzy wszystkie inne uczelnie porównywali z tymi, które sami uważali za najlepsze. W ten sposób nieświadomie powielili stereotyp. Wpisali go w algorytm. Nie uwzględnili na przykład wysokości czesnego, które na Harvardzie czy Yale jest wyższe niż na innych uczelniach. Gdyby już na początku wzięto to pod uwagę, na czele rankingu mogłyby się pojawić szkoły mniej znane i nie aż tak, w powszechnej opinii, renomowane. Czy gdyby w pierwszym rankingu Princeton czy Stanford znalazły się niżej, niż oczekiwano, zestawienie „U.S. News” uznano by za wiarygodne, czy zyskałoby rozgłos i zaczęło wyznaczać trendy?