Traim intr-un moment in care tehnologia avanseaza intr-un ritm alert. Echipamentele de ultima generatie si Big Data influenteaza tot mai mult viata noastra de zi cu zi. Dar este aceasta influenta intotdeauna pozitiva? Sunt tehnologii noi care fac lumea noastra mai buna, mai confortabila si mai echitabila, sau poate totul merge in sens invers? Aceste intrebari vor aparea cu siguranta atunci cand cititi cartea lui Cathy O’Neil. Math Destruction: How Big Data Increases Inequality and Threatens Democracy.

Autoarea este o matematiciana si experta in analiza pietei financiare. Experienta, observatiile si cercetarea ei au condus-o la ideea ca uneori algoritmii bazati pe Big Data si machine learning pot spori inegalitatea si chiar ameninta democratia.

De ce si cum se poate intampla asta?

Computerele, cu o frecventa tot mai mare, iau decizii importante care influenteaza viata umana. Daca un absolvent de liceu va fi Inscris la un colegiu sau un candidat va fi invitat la un interviu? Daca un angajat va fi concediat? Daca vei primi un imprumut sau nu? Cat va costa o asigurare de sanatate? Astfel de decizii sunt adesea realizate pe baza modelelor matematice.
Cu toate acestea, orice model (prin definitie) este un fel de simplificare. Ce ar trebui sa fie inclus Intr-un model si ce ar trebui aruncat ca fiind nesemnificativ depinde de cei care creeaza modelul. Dupa cum spune Cathy O’Neil, “Modelele sunt opinii incorporate in matematica”. Nu toate modelele sunt la fel de bune.

Una dintre problemele critice mentionate de O’Neil este utilizarea de variabile proxy. Adesea nu avem posibilitatea de a obtine date despre anumite proprietati dorite si in acest caz putem utiliza variabile cu valori care se coreleaza cu o astfel de variabila necunoscuta.

De exemplu, atunci cand angajatorii cauta un angajat, doresc sa stabileasca cat de constiincios, responsabil si decent este candidatul. Este foarte dificil sa masuram trasaturi personale atat de importante ... Multe companii americane utilizeaza din ce in ce mai mult scoruri de credit ca variabila proxy - este o expresie numerica care caracterizeaza capacitatea celui care se imprumuta de a plati datoria. A avea un scor de credit bun este acum necesara pentru a obtine un loc de munca decent.

In teorie idea este de bun simt: o persoana constiincioasa va plati cel mai probabil facturile si va indeplini alte obligatii financiare la timp. Dar nu este atat de evident, totusi. O persoana destul de decenta poate intra mai adanc in datorii sau chiar poate intra in faliment. De exemplu, dupa ce ti-ai pierdut locul de munca (lucru care se poate intampla din motive care nu tin de controlul persoanei, mai ales in timpul unei recesiuni) sau ai pierdut asigurarea de sanatate. O boala brusca poate duce o persoana in faliment, iar majoritatea falimentelor personale din S.U.A. sunt cauzate de cheltuieli medicale enorme.
Intr-un fel, un astfel de model functioneaza ca o “self-fulfilling prophecy” – scorul de credit fiind afectat, devine mai greu sa va gasiti un loc de munca, se acumuleaza datorii si gasirea unui loc de munca devine din ce in ce mai dificila.

In plus, variabilele proxy sunt utilizate chiar si in cazurile unde sunt disponibile date mai bune. De exemplu, in Florida, suma necesara pentru a-ti asigurara masina depinde de punctajul de credit al soferului chiar mai mult decat istoricul pe care il ai ca sofer: soferii care nu au avut accidente dar au punctaje slabe la credit platesc in medie cu 1552 dolari mai mult decat aceiasi soferi cu punctaj excelent si amenzi pentru conducerea masinii sub influenta bauturilor alcoolice. Un indicator mai fiabil este ignorat. Este o situatie corecta sau de bun simt? Este un fel de intrebare retorica ...

Un alt exemplu dat de O’Neil in cartea sa este sistemul de notare a cadrelor didactice, utilizat pe scara larga in multe scoli. Profesorii au fost evaluati in functie de modul in care studentii lor si-au imbunatatit rezultatele la test intr-un an. Profesorii care au avut rezultate nesatisfacatoare au fost concediati. Progresul educational al studentilor a fost masurat pe baza rezultatelor testelor date la sfarsitul semestrului.
O astfel de abordare poate parea rezonabila la prima vedere. Dar, daca va ganditi mai departe, devine evident ca rezultatele studentilor nu depind doar de competentele profesionale ale profesorului ci si de trasaturile personale si este o problema sofisticata de a diferentia contributia profesorului de alti factori. In ceea ce priveste statisticile, numarul este ridicol de mic: profesorii au fost evaluati pe baza rezultatelor a 25-30 de studenti. Este un numar mic. Pentru a analiza si compara competenta cadrelor didactice intr-un mod sigur din punct de vedere statistic, aceasta ar trebui evaluata pe baza a mii sau chiar a milioane de studenti alesi la intamplare, dupa cum subliniaza Cathy O’Neil. Desigur, este imposibil. Modelul ales in sine este foarte indoielnic. Cu toate acestea, pe baza acestor rezultate oamenii adevarati, probabil profesori destul de buni, au fost concediati.

Un alt efect secundar este acela ca datele introduse pot fi falsificate, iar persoanele evaluate au o motivatie serioasa de a face acest lucru. De fapt, asta s-a si intamplat. Fraudarea rezultatelor s-a intamplat in multe scoli americane. Astfel, profesorii au incercat sa se asigure ca nu sunt concediati sau chiar sa primeasca bonusuri.

O’Neil atinge, de asemenea, si tema publicitatii personalizate. Ar putea parea un lucru inofensiv la prima vedere. Si ce e atat de groaznic in faptul ca vi se solicita sa cumparati ceva pe care l-ati cautat pe Google recent? Cu toate acestea, alaturi de utilizari destul de legitime si acceptabile, exista si anumite abuzuri. De exemplu, organizatorii de campanii publicitare urmaresc in mod special grupurile cu un nivel scazut de trai sau vulnerabile din alte puncte de vedere pentru a le oferi imprumuturi cu dobanda mare (si atunci cand acestia ar putea obtine imprumuturi mult mai benefice pentru ei).

Si mai periculos, potrivit lui O’Neil, este utilizarea de anunturi personalizate pentru campanii politice. Au disparut zilele in care candidatii prezidentiali trebuiau sa-si prezinte programele tuturor americanilor. Tehnologiile moderne le permit sa trimita mesaje personalizate fiecarui cetatean si sa-i promita ceea ce si-ar dori fiecare. Un mesaj pentru cei care sunt preocupati de protectia mediului, un altul pentru cei care se tem de fluxul imigrantilor; un mesaj pentru absolventi, altul pentru agricultorii in varsta ... Nimeni nu va avea o imagine completa. Chiar daca vizitati site-ul oficial al unui candidat, aceasta nu inseamna neaparat ca veti vedea aceleasi informatii ca vecinul. De fapt, exista o posibilitate nelimitata de manipulare a alegatorilor.

In ultimul capitol al cartii, O’Neil se concentreaza asupra unor posibilitati enorme de influentare a opiniei publice de catre astfel de giganti precum Facebook si Google. Acestia pot controla ce vor vedea utilizatorii in feed sau in rezultatele cautarii. Ce se intampla daca acestia doresc sa influenteze rezultatul alegerilor in beneficiul lor? O’Neil nu da vina pe ei pentru nimic, declarand ca nu exista dovezi si niciun motiv sa creada ca au facut deja asa ceva. Dar ei au o astfel de posibilitate, crede ea. Si este greu sa nu fiti de acord cu parerea ei.

Recenzia mea nu are nicio pretentie la exhaustivitate; cartea contine mult mai multe cazuri de viata reala. Ar trebui sa cititi intreaga carte.

Victoria Slinyavchuk
Consultant on Software Testing