Dr Commodore
LIVE

I difetti degli algoritmi usati per i background checks

Quando si parla il potenziale delle AI (Intelligenze Artificiali) e degli algoritmi, non può non tornarmi in mente una delle tante frasi di Elon Musk a riguardo. Durante le sue numerose conferenze, come quella tenuta nel 2017 per la National Governors Association, il fondatore di SpaceX e di OpenAI ha spesso manifestato la sua paura per il possibile ruolo che copriranno questi nostri – attualmente – assistenti digitali:

L’intelligenza artificiale è un grosso pericolo per la società, per l’esistenza stessa dell’essere umano. Incidenti stradali, scarsa qualità del cibo e droghe non sono e non saranno mai tanto pericolose come essa. È un settore, questo, dove prevenire i problemi sarà strettamente necessario. Se non il primo passo in assoluto.”

Ovviamente ora non abbiamo davanti a noi a un imminente scenario “Skynet”, anzi. Basta vedere software come DeepGestalt per analizzare dei punti forti, positivi. Ma, come in quest’ultimo caso, l’intervento dell’essere umano è strettamente necessario. Un fattore non considerato adeguatamente nel caso Arroyo, dove un altro algoritmo ha negato a Mikhail Arroyo, vittima di un incidente che lo ha reso disabile, la possibilità di trovare casa.

I software CoreLogic

Per addentrarci nel caso Arroyo è necessario prima introdurre i software CoreLogic di nostro interesse: ScorePLUS, CrimCHECK e CrimSAFE.

  • ScorePLUS calcola un “punteggio” per determinare il rischio potenziale che un individuo commetta reati, avvertendo le agenzie immobiliari nel caso in cui una persona interessata all’affitto di una casa sia pericolosa.
  • CrimCHECK si occupa dell’incrocio di diversi database provenienti da più di duemila strutture, riguardanti più di 80 milioni di fedine penali, focalizzandosi in particolare su molestie sessuali e altre infrazioni minori.
  • CrimSAFE è una “combinazione” tra i due programmi. È un programma automatico che processa e interpreta le fedine penali mandando direttamente degli avvisi alle agenzie immobiliari nel caso in cui l’individuo interessato ad acquistare/affittare una casa non rientri nei requisiti richiesti dalle agenzie stesse. (traduzione della descrizione data dalla stessa CoreLogic, ndr)

download

Il caso Arroyo

Come abbiamo detto in precedenza, Mikhail Arroyo è il protagonista di questa storia. Dopo il suo risveglio dal coma, nel 2016, l’idea della madre, Carmen, fu sin da subito quella di trovare un nuovo appartamento per entrambi in Connecticut, nello stesso complesso residenziale in cui lei già viveva. La compagnia alla quale lei si affidò, però, negò loro questa possibilità a causa di Mikhail che, secondo un algoritmo, non avrebbe potuto vivere lì.

CrimSAFE aveva infatti segnalato all’agenzia immobiliare la fedina penale di Mikhail. Carmen non ricevette alcun aiuto dai dipendenti, soltanto il numero di telefono di CoreLogic. In seguito a diverse chiamate, la madre dovette inviare diversi documenti suoi e del figlio – del quale era diventata tutrice – senza però ricevere risposte chiare.

Il riferimento dell’azienda rimaneva infatti sempre e solo il loro sito, dove secondo loro c’erano scritti tutti i dettagli del loro ruolo nella faccenda:

La nostra tecnologia avanzata si basa su dati statistici reali, nessuna previsione, niente di teorico. Offre anzi un servizio consistente e affidabile, senza precedenti nel settore. Qualsiasi vostra decisione o informazione da voi utilizzata, sarà analizzabile facilmente nei suoi risultati concisi. Vi elimineremo la necessità di contattare altri professionisti per giudicare i casi singoli.”

lul

Una posizione non condivisa

Alcuni agenti immobiliari si sono espressi contro sistemi simili a quelli proposti da CoreLogic, affermando che eliminare il ruolo dell’essere umano nella decisione aumenta i problemi e non fornisce soluzioni. Gli strumenti di screening bypassano l’umanità stessa, l’etica, basandosi appunto su meri dati statistici.

Eric Dunn, direttore del piano di fair housing (piano che crea uguali opportunità di trovare casa a tutti, basandosi sulle leggi federali che proibiscono la discriminazione per razza, colore, religione, sesso, disabilità, status e origine. Ndr) del National Housing Law Project, ha analizzato gli algoritmi usati dalle agenzie immobiliari negli ultimi anni.

Col tempo si è accorto di come le persone si siano allontanate dallo “screening della vecchia guardia” svolto da esseri umani, dando più spazio alla tecnologia. In questo modo, però, hanno messo in secondo piano l’aspetto umano del procedimento, avvicinandosi a database dalle origini non note. È necessario infatti, secondo lui, dare importanza alla storia di una persona, un aspetto che non può essere catturato perfettamente da una macchina.

Certo, secondo i Fair Housing Act Standards rimane tra i diritti degli agenti immobiliari quello di poter consultare la fedina penale dell’acquirente. Ma la screening policy dei software CoreLogic non offre delle letture corrette. Essi infatti non calcolano “alla pari di un essere umano” il tempo trascorso dai reati commessi e la loro gravità.

how background checks can land your business in hot water NEWBANNER

 

Gli altri problemi di CoreLogic

Ma sono presenti anche altre falle, sia nei software che nella assistenza di CoreLogic, riscontrate nella prassi da Dunn. In caso di omonimia è infatti frequente lo scambio delle fedine penali – caso avvenuto nel 2015 in North Carolina-. O, ancora, la mancata cancellazione di accuse ritirate – vedi il caso Wilson, il quale venne segnalato da CrimSAFE per un furto poi rivelatosi non commesso -.

Nel caso Arroyo, per fare un altro esempio, l’agenzia immobiliare non conosceva alcun dettaglio riguardo ai metodi e ai risultati dello screening. All’avvocato del Connecticut Fair Housing Center che si è occupato di Mikhail, Salmun Kazerounian, è stato detto:

“Come facciamo a comprendere la fedina penale se neanche sappiamo cosa sia e come muoverci?”

Del resto, l’unico risultato dato da CoreLogic all’agenzia immobiliare era un file generato dal report chiamato “000000033501.PA”. Una documentazione non facilmente comprensibile.

Dopo una lettura approfondita, però, questi sono stati i risultati: un’accusa di furto di merce dal valore inferiore ai $150 – poi ritirata -, e un altro arresto per furto nel 2013. Una fedina penale molto ridotta, dunque. E poi, onestamente, come avrebbe potuto commettere altri furti essendo ora disabile?

La conclusione del caso Arroyo

Mikhail Arroyo e Carmen, dopo la causa a CoreLogic – ancora in svolgimento – hanno trovato casa nel 2017. L’azienda nel mentre è rimasta sempre sulla difensiva, ritenendo il loro lavoro non soggetto al Fair Housing Act, mentre lo sono le persone che usano i loro software.

A The Verge Wilson ha poi rilasciato una dichiarazione, riferendosi sia al suo caso che a quello della famiglia Arroyo; una perfetta conclusione alla vicenda:

In un’era tecnologica come questa, dove è diffuso l’uso di software come questi, la cosa più importante è far sì che le aziende produttrici svolgano un lavoro positivo. Dunque, assicurarsi che le fedine penali siano aggiornate correttamente. C’è molto in palio per quelle persone. Fa la differenza poter chiamare o meno un posto “casa””.

FONTE

Per rimanere informati sul mondo nerd, continuate a seguirci sul nostro sito DrCommodore.it e su FacebookInstagramTelegramYouTubeDiscordSteam e Twitch.

Articoli correlati

Francesco Santin

Francesco Santin

Studente di Scienze Internazionali e Diplomatiche, ex telecronista di Esports, giocatore semi-professionista e amministratore di diversi siti e community per i quali ho svolto anche l'attività di editor e redattore.

Condividi