Robert Julian-Borchak Williams è stato arrestato davanti al giardino di casa, a Farmington Hills, Michigan. I poliziotti gli hanno messo le manette senza spiegare il motivo dell’arresto. Gli occhi sgranati delle due figlie e della moglie gli sono restati nella sua memoria per le lunghe 30 ore che ha passato in galera. Nel corso degli interrogatori, gli inquirenti gli hanno mostrato delle fotografie raccolte da videocamere di sorveglianza. Williams ha negato di essere la persona ritratta in quelle immagini. I poliziotti hanno guardato meglio. E uno di loro si è lasciato scappare: «Credo che il computer si sia sbagliato».
Williams è stato arrestato perché un sistema basato sull’intelligenza artificiale ha connesso una sua foto all’immagine di un sospetto ladro. I poliziotti hanno inserito la sua foto tra quelle che sono state sottoposte a un testimone oculare e questi ha riconosciuto in quella foto il colpevole. Questo ha fatto scattare l’arresto. Ma è bastato che i poliziotti guardassero senza pregiudizi la foto e la persona per accorgersi di aver preso un granchio elettronico. Il New York Times ha ricostruito la vicenda.
Il problema non consiste nel fatto che il riconoscimento facciale a base di machine learning possa sbagliare. Il problema è che qualcuno prenda decisioni che coinvolgono la vita di un essere umano solo in base a un algoritmo.
Il machine learning può essere visto come una sofisticata tecnica statistica che serve a elaborare grandi quantità di dati ed estrarre ipotesi. Gli errori statistici sono sfisiologici e possono essere di vario tipo. Nel caso delle tradizionali indagini campionarie, l’errore è tipicamente dovuto alla qualità del campione e al rapporto tra la numerosità del campione e la quantità di domande cui si vuole rispondere. Nel caso delle analisi sui big data basate sul machine learning, gli errori sono più spesso dovuti ai pregiudizi impliciti nelle basi di dati e negli algoritmi utilizzati.
Il riconoscimento facciale presenta un pregiudizio razziale molto forte: secondo alcune ricerche condotte al Mit e al National Institute of Standards and Technology, questi sistemi sbagliano con maggiori probabilità quando devono riconoscere il viso di un afro-americano e con minori probabilità se il viso è di un caucasico. E Williams è afro-americano.
L’aggiustamento degli errori di questo tipo può richiedere molto tempo. Le conseguenze dell’applicazione di queste tecnologie nella vita reale possono essere terribili. Williams deve ancora gestire le conseguenze psicologiche subite dalle figliolette. E non c’è solo il riconoscimento facciale. Ci sono per esempio gli algoritmi che calcolano il merito di credito. Errori di quegli algoritmi possono far perdere alle persone la casa e il lavoro.
Due senatori democratici hanno proposto una moratoria sull’uso del riconoscimento facciale da parte degli organi del governo, polizia ed Fbi compresi.
Stefano Rodotà aveva voluto inserire nella Dichiarazione dei diritti in internet, nel 2015, il divieto di prendere decisioni destinate «a incidere in maniera significativa nella sfera delle persone» fondandole «unicamente su un trattamento automatizzato di dati personali». È un diritto umano.
Williams è stato arrestato perché un sistema basato sull’intelligenza artificiale ha connesso una sua foto all’immagine di un sospetto ladro. I poliziotti hanno inserito la sua foto tra quelle che sono state sottoposte a un testimone oculare e questi ha riconosciuto in quella foto il colpevole. Questo ha fatto scattare l’arresto. Ma è bastato che i poliziotti guardassero senza pregiudizi la foto e la persona per accorgersi di aver preso un granchio elettronico. Il New York Times ha ricostruito la vicenda.
Il problema non consiste nel fatto che il riconoscimento facciale a base di machine learning possa sbagliare. Il problema è che qualcuno prenda decisioni che coinvolgono la vita di un essere umano solo in base a un algoritmo.
Il machine learning può essere visto come una sofisticata tecnica statistica che serve a elaborare grandi quantità di dati ed estrarre ipotesi. Gli errori statistici sono sfisiologici e possono essere di vario tipo. Nel caso delle tradizionali indagini campionarie, l’errore è tipicamente dovuto alla qualità del campione e al rapporto tra la numerosità del campione e la quantità di domande cui si vuole rispondere. Nel caso delle analisi sui big data basate sul machine learning, gli errori sono più spesso dovuti ai pregiudizi impliciti nelle basi di dati e negli algoritmi utilizzati.
Il riconoscimento facciale presenta un pregiudizio razziale molto forte: secondo alcune ricerche condotte al Mit e al National Institute of Standards and Technology, questi sistemi sbagliano con maggiori probabilità quando devono riconoscere il viso di un afro-americano e con minori probabilità se il viso è di un caucasico. E Williams è afro-americano.
L’aggiustamento degli errori di questo tipo può richiedere molto tempo. Le conseguenze dell’applicazione di queste tecnologie nella vita reale possono essere terribili. Williams deve ancora gestire le conseguenze psicologiche subite dalle figliolette. E non c’è solo il riconoscimento facciale. Ci sono per esempio gli algoritmi che calcolano il merito di credito. Errori di quegli algoritmi possono far perdere alle persone la casa e il lavoro.
Due senatori democratici hanno proposto una moratoria sull’uso del riconoscimento facciale da parte degli organi del governo, polizia ed Fbi compresi.
Stefano Rodotà aveva voluto inserire nella Dichiarazione dei diritti in internet, nel 2015, il divieto di prendere decisioni destinate «a incidere in maniera significativa nella sfera delle persone» fondandole «unicamente su un trattamento automatizzato di dati personali». È un diritto umano.
Articolo pubblicato su Nòva il 28 giugno 2020
Photo by Nicholas Kwok on Unsplash
