Quando AI commette un errore a causa di pregiudizi, ad esempio gruppi di persone a cui vengono negate opportunità, identificati erroneamente nelle foto o puniti ingiustamente, l’Organizzazione colpevole subisce danni al proprio marchio e alla propria reputazione. Allo stesso tempo, le persone di quei gruppi e la società nel suo insieme possono nuocere all'esperienza senza nemmeno rendersene conto. Ecco alcuni esempi di alto profilo di disparità e pregiudizi nell’intelligenza AI e dei danni che possono causare.

Nel settore sanitario, la sottorappresentazione dei dati relativi alle donne o ai gruppi minoritari può distorcere gli algoritmi predittivi AI .² Ad esempio, è stato riscontrato che i sistemi di diagnosi assistita da computer (CAD) restituiscono risultati con una precisione inferiore per i pazienti afroamericani rispetto ai pazienti bianchi.

Mentre gli strumenti AI possono semplificare l'automazione della scansione del curriculum durante una ricerca per aiutare a identificare i candidati ideali, le informazioni richieste e le risposte selezionate possono ottenere risultati sproporzionati tra i gruppi. Ad esempio, se un annuncio di lavoro utilizza la parola "ninja", potrebbe attirare più uomini che donne, anche se questo non è in alcun modo un requisito di lavoro.³   

Come test di generazione delle immagini, Bloomberg ha richiesto la creazione di più di 5.000 immagini AI e ha scoperto che “Il mondo secondo Stable Diffusion è gestito da un CEO maschio bianco. Le donne sono raramente dottoresse, avvocate o giudici. Gli uomini con la pelle scura commettono crimini, mentre le donne con la pelle scura girano gli hamburger".⁴  Midjourney ha condotto uno studio simile sulla generazione artistica AI , richiedendo immagini di persone che svolgono professioni specializzate. I Risultati mostravano sia persone più giovani che più anziane, ma gli anziani erano sempre uomini, rafforzando il pregiudizio di genere sul ruolo delle donne sul posto di lavoro.⁵ 

basato su AI/con tecnologia Gli strumenti di polizia predittiva utilizzati da alcune organizzazioni nel sistema di giustizia penale dovrebbero identificare le aree in cui è probabile che si verifichi il crimine. Tuttavia, spesso si basano su dati storici sugli arresti, che possono rafforzare i modelli esistenti di profilazione razziale e di prendere di mira in modo sproporzionato le comunità minoritarie.⁶

Risultati distorti possono danneggiare l’Organizzazione e la società in generale. Ecco alcuni dei tipi più comuni di bias AI ⁷. 

• Bias da algoritmo: la disinformazione può risultare se il problema o la domanda posta non è del tutto corretta o specifica, o se il feedback all’algoritmo machine learning non aiuta a guidare la ricerca di una soluzione. 

• Bias cognitivo: l'intelligenza AI richiede input umani e gli esseri umani sono fallibili. I pregiudizi personali possono insinuarsi senza che i praticanti se ne rendano conto. Ciò può influire sul comportamento del set di dati o del modello. 
   

• Bias di conferma: strettamente correlato al bias cognitivo, questo accade quando AI fa troppo affidamento su convinzioni o tendenze preesistenti nei dati, raddoppiando i pregiudizi esistenti e incapace di identificare nuovi modelli o tendenze. 
   

• Bias di esclusione: questo tipo di distorsione si verifica quando i dati importanti vengono esclusi dai dati utilizzati, spesso perché lo sviluppatore non è riuscito a vedere fattori nuovi e importanti. 
   

• Distorsione di misurazione: la distorsione di misurazione è causata da dati incompleti. Molto spesso si tratta di una svista o di una mancanza di preparazione per cui i risultati nel set di dati non includono l'intera popolazione che dovrebbe essere considerata. Ad esempio, se un college volesse prevedere i fattori per una laurea di successo, ma includesse solo i laureati, le risposte mancherebbero completamente i fattori che causano l'abbandono di alcuni. 
   

• Bias di omogeneità out-group: questo è un caso in cui non si sa ciò che non si sa. C'è la tendenza da parte delle persone ad avere una migliore comprensione dei membri dell'ingroup - il gruppo a cui si appartiene - e a Think che siano più diversi rispetto ai membri dell'outgroup. I Risultati possono essere sviluppatori che creano algoritmi meno capaci di distinguere tra individui che non fanno parte del gruppo maggioritario nei dati di addestramento, portando a pregiudizi razziali, classificazioni errate e risposte errate. 

• Distorsione da pregiudizio: si verifica quando stereotipi e presupposti sociali errati si insinuano nel set di dati dell'algoritmo, il che porta inevitabilmente a risultati distorti. Ad esempio, AI potrebbe restituire Risultati dimostrando che solo i maschi sono medici e tutte le infermiere sono donne. 
   

• Bias di richiamo: si sviluppa durante l'etichettatura dei dati, in cui le etichette vengono applicate in modo incoerente da osservazioni soggettive.  
   

• Distorsione da campione/selezione: questo è un problema quando i dati utilizzati per addestrare il modello di machine learning non sono abbastanza grandi, non abbastanza rappresentativi o sono troppo incompleti per addestrare sufficientemente il sistema. Se tutti gli insegnanti delle scuole consultati per addestrare un modelli AI avessero le stesse qualifiche accademiche, allora tutti i futuri insegnanti presi in considerazione dovrebbero avere identiche qualifiche accademiche. 
   

• Bias da stereotipi: ciò accade quando un sistema AI , di solito inavvertitamente, rafforza stereotipi dannosi. Ad esempio, un sistema di traduzione linguistica potrebbe associare alcune lingue a determinati generi o stereotipi etnici. McKinsey mette in guardia dal tentativo di rimuovere i pregiudizi dai set di dati: “Un Approach ingenuo consiste nel rimuovere le classi protette (come il sesso o la razza) dai dati ed eliminare le etichette che rendono l’algoritmo distorto. Tuttavia, questo Approach potrebbe non funzionare perché le etichette rimosse potrebbero influenzare la comprensione del modello e la precisione dei risultati potrebbe peggiorare.⁸

Il primo passo per evitare la trappola dei pregiudizi è semplicemente fare un passo indietro all’inizio e riflettere un po’ sullo sforzo AI . Come è vero per quasi tutte le sfide aziendali, è molto più facile correggere i problemi in anticipo piuttosto che aspettare il relitto dell'addestramento e poi sistemare i risultati danneggiati. Ma molte Organizzazioni hanno fretta: sono sciocche, e questo costa loro. 

Identificare e indirizzare i bias AI richiede la governanceAI , ovvero la capacità di dirigere, gestire e monitorare le attività AI di un’Organizzazione. In pratica, la governance AI crea una serie di politiche, pratiche e quadri per guidare lo sviluppo e l’uso responsabile AI Tecnologia. Se eseguita correttamente, la governance AI aiuta a garantire che vi sia un equilibrio tra i benefici conferiti alle imprese, ai clienti, ai dipendenti e alla società nel suo insieme.

La governance AI spesso include metodi che mirano a valutare l’equità, l’equità e l’inclusione. Un approccio come l'equità controfattuale identifica i pregiudizi nel processo decisionale di un modello e garantisce risultati equi, anche quando sono inclusi attributi sensibili, come il genere, la razza o l'orientamento sessuale.

 A causa della complessità AI, un algoritmo può essere un sistema black box con poche insight sui dati utilizzati per crearlo. Le pratiche di trasparenza e la Tecnologia aiutano a garantire che per costruire il sistema vengano utilizzati dati imparziali e che i risultati siano equi. Le aziende che lavorano per proteggere le informazioni dei clienti costruiscono la fiducia nel marchio e sono più propense a creare sistemi affidabili di intelligenza artificiale.

Per fornire un ulteriore livello di garanzia della qualità, istituire un sistema "human-in-the-loop" per offrire opzioni o formulare raccomandazioni che possano poi essere approvate da decisioni umane.

Ecco un elenco di controllo di sei fasi del processo che possono mantenere i programmi AI liberi da pregiudizi.

1. Selezionare il modello di apprendimento corretto:

• Quando si utilizza un modello supervisionato, le parti interessate selezionano i dati di addestramento. È fondamentale che il team stakeholder sia diversificato, non solo data scientist, e che abbia ricevuto una formazione per aiutare a prevenire pregiudizi inconsci.  
  
• I modelli non supervisionati utilizzano solo AI per identificare i bias. Gli strumenti di prevenzione dei pregiudizi devono essere integrati nella rete neurale in modo che impari a riconoscere ciò che è distorto.

2. addestrare con i dati giusti: machine learning addestrato sui dati sbagliati produrrà risultati errati. Qualunque dato venga inserito nell’intelligenza AI dovrebbe essere completo ed equilibrato per replicare i dati demografici effettivi del gruppo preso in considerazione.     

3. Scegli un team equilibrato: quanto più vario è il team AI – dal punto di vista razziale, economico, per livello di istruzione, genere e descrizione del lavoro – tanto più è probabile che riconosca i pregiudizi. I talenti e i punti di vista di un team AI a tutto tondo dovrebbero includere innovatori aziendali AI , creatori AI , implementatori AI e una rappresentanza dei consumatori di questo particolare sforzo AI .⁹  

4. Effettuare il trattamento dei dati in modo consapevole: le aziende devono essere consapevoli dei pregiudizi in ogni fase del trattamento dei dati. Il rischio non risiede solo nella selezione dei dati: durante la pre-elaborazione, l’elaborazione o la post-elaborazione, i bias possono insinuarsi in qualsiasi momento ed essere immessi nell’intelligenza AI.  

5. Monitoraggio continuo: nessun modello è mai completo o permanente. Il monitoraggio e i test continui con dati del mondo reale provenienti da tutta l’organizzazione possono aiutare a rilevare e correggere i bias prima che causino danni. Per evitare ulteriormente pregiudizi, l'Organizzazione dovrebbe prendere in considerazione la valutazione da parte di un team indipendente interno all'Organizzazione o di una terza parte fidata.  

6. Evitare problemi infrastrutturali: A parte le influenze umane e dei dati, a volte l'infrastruttura stessa può causare distorsioni. Ad esempio, utilizzando i dati raccolti dai sensori meccanici, l’attrezzatura stessa potrebbe iniettare bias se i sensori non funzionano correttamente. Questo tipo di pregiudizio può essere difficile da rilevare e richiede investimenti nelle più recenti infrastrutture digitali e tecnologiche.