Lorsque l’IA commet une erreur en raison d’un parti pris, par exemple en se voyant refuser des opportunités à des groupes de personnes, en les identifiant à tort sur des photos ou en les punissant injustement, l’organisation fautive subit des dommages à sa marque et à sa réputation. En même temps, les membres de ces groupes et la société dans son ensemble peuvent faire l’expérience d’un préjudice sans même s’en rendre compte. Voici quelques exemples très médiatisés de disparités et de préjugés dans l’IA et des dommages qu’ils peuvent causer.

Dans le secteur de la santé, la sous-représentation des données des femmes ou des groupes minoritaires peut fausser les algorithmes d’IA prédictive.^deux Par exemple, il a été constaté que les systèmes de diagnostic assisté par ordinateur (CAO) renvoient des résultats moins précis pour les patients afro-américains que pour les patients blancs.

Alors que les outils d’IA peuvent rationaliser l’automatisation de l’analyse des CV lors d’une recherche pour aider à identifier les candidats idéaux, les informations demandées et les réponses présélectionnées peuvent entraîner des résultats disproportionnés dans tous les groupes. Par exemple, si une offre d'emploi utilise le mot « ninja », elle peut attirer plus d'hommes que de femmes, même si ce n'est en aucun cas une exigence du poste.³   

Pour tester la génération d’images, Bloomberg a demandé la création de plus de 5 000 images d’IA et a constaté que « le monde selon Stable Diffusion est dirigé par des PDG masculins blancs. Les femmes sont rarement médecins, avocates ou juges. Les hommes à la peau foncée commettent des crimes, tandis que les femmes à la peau foncée préparent des hamburgers. » ⁴  Midjourney a mené une étude similaire sur la génération d’art par l’IA, en demandant des images de personnes exerçant des professions spécialisées. Les résultats ont montré à la fois des personnes plus jeunes et plus âgées, mais les personnes âgées étaient toujours des hommes, ce qui renforce les préjugés sexistes sur le rôle des femmes sur le lieu de travail.⁵ 

Les outils de police prédictive utilisés par certaines organisations du système de justice pénale sont censés identifier les zones où la criminalité est susceptible de se produire. Cependant, ils s'appuient souvent sur des données historiques sur les arrestations, ce qui peut renforcer les modèles existants de profilage racial et de ciblage disproportionné des communautés minoritaires.⁶

Des résultats faussés peuvent nuire à l’organisation et à la société dans son ensemble. Voici quelques-uns des types les plus courants de biais de l’IA⁷. 

• Biais de l’algorithme : La désinformation peut être une erreur si le problème ou la question posée n’est pas tout à fait correct ou spécifique, ou si les commentaires à l’algorithme machine learning n’aident pas à orienter la recherche d’une solution. 

• Biais cognitif: la technologie de l’IA nécessite l’entrée humaine, et les humains sont faillibles. Les préjugés personnels peuvent s'infiltrer sans même que les praticiens s'en rendent compte. Cela peut avoir un impact sur le jeu de données ou sur le comportement du modèle. 
   

• Biais de confirmation: Étroitement lié aux biais cognitifs, cela se produit lorsque l’IA s’appuie trop sur des croyances ou des tendances préexistantes dans les données, en doublant les biais existants et en étant incapable d’identifier de nouveaux modèles ou tendances. 
   

• Biais d'exclusion: ce type de biais se produit lorsque des données importantes sont omises dans les données utilisées, souvent parce que le développeur n'a pas détecté de nouveaux facteurs importants. 
   

• Biais de mesure : le biais de mesure est dû à des données incomplètes. Il s’agit le plus souvent d’un oubli ou d’un manque de préparation qui n’inclut pas l’ensemble de la population qui doit être pris en compte. Par exemple, si un collège voulait prédire les facteurs de réussite à l'obtention de son diplôme, mais n'incluait que les diplômés, les réponses passeraient complètement à côté des facteurs qui poussent certains à abandonner leurs études. 
   

• Biais d'homogénéité hors groupe: il s'agit d'un cas où l'on ne sait pas ce que l'on ne sait pas. Les gens ont tendance à mieux comprendre les membres de l’endogroupe – le groupe auquel ils appartiennent – et à Think qu’ils sont plus diversifiés que les membres de l’exogroupe. Les résultats peuvent être des développeurs qui créent des algorithmes moins capables de distinguer les individus qui ne font pas partie du groupe majoritaire dans les données d’entraînement, ce qui conduit à des préjugés raciaux, à une mauvaise classification et à des réponses incorrectes. 

• Biais de préjugés: se produit lorsque des stéréotypes et des hypothèses sociétales erronées se retrouvent dans l’ensemble de données de l’algorithme, ce qui conduit inévitablement à des résultats biaisés. Par exemple, l’IA pourrait renvoyer des résultats montrant que seuls les hommes sont médecins et que toutes les infirmières sont des femmes. 
   

• Biais de rappel: cela se développe lors de l'étiquetage des données, lorsque les étiquettes sont appliquées de manière incohérente par des observations subjectives.  
   

• Biais d’échantillonnage/de sélection: il s’agit d’un problème lorsque les données utilisées pour entraîner le modèle machine learning ne sont pas assez volumineuses, pas assez représentatives ou sont trop incomplètes pour entraîner suffisamment le système. Si tous les professeurs des écoles consultés pour l’élaboration d’un modèle IA ont les mêmes qualifications universitaires, alors tous les futurs enseignants considérés devraient avoir des qualifications universitaires identiques. 
   

• Biais stéréotypés: cela se produit lorsqu’un système d’IA, généralement par inadvertance, renforce des stéréotypes préjudiciables. Par exemple, un système de traduction linguistique pourrait associer certaines langues à certains stéréotypes de genre ou ethniques. McKinsey met en garde contre la tentative d’éliminer les préjugés des ensembles de données : « Une Approach naïve consiste à supprimer les classes protégées (telles que le sexe ou la race) des données et à supprimer les étiquettes qui rendent l’algorithme biaisé. Cependant, il se peut que cette Approach ne fonctionne pas, car les étiquettes supprimées peuvent affecter la compréhension du modèle et la précision de vos résultats peut se détériorer.⁸

La première étape pour éviter le piège des préjugés consiste simplement à prendre du recul au début et à réfléchir à un effort d’IA. Comme c’est le cas pour presque tous les défis commerciaux, il est beaucoup plus facile de corriger les problèmes dès le départ plutôt que d’attendre l’épave de l’entraîneur et de trier ensuite les résultats endommagés. Mais beaucoup d’organisations sont pressées, et cela leur coûte cher. 

L’identification et la résolution des biais dans l’IA nécessitent une gouvernance de l’IA, c’est-à-dire la capacité de diriger, de gérer et de surveiller les activités d’IA d’une organisation. En pratique, la gouvernance de l’IA crée un ensemble de politiques, de pratiques et de cadres d’exigences pour guider le développement et l’utilisation responsables de la technologie de l’IA. Lorsqu’elle est bien menée, la gouvernance de l’IA permet de s’assurer qu’il y a un équilibre des avantages accordés aux entreprises, aux clients, aux employés et à la société dans son ensemble.

La gouvernance de l’IA comprend souvent des méthodes qui visent à évaluer la justice, l’équité et l’inclusion. Une approche telle que l’équité contrefactuelle identifie les biais dans la prise de décision d’un modèle et garantit des résultats équitables, même lorsque des attributs sensibles, tels que le sexe, la race ou l’orientation sexuelle sont inclus.

 En raison de la complexité de l’IA, un algorithme peut être un système de boîte noire avec peu d’informations sur les données utilisées pour le créer. Les pratiques de transparence et la technologie permettent de s’assurer que des données impartiales sont utilisées pour construire le système et que Résultats sera équitable. Les entreprises qui s’efforcent de protéger les informations des clients renforcent la confiance dans la marque et sont plus susceptibles de créer des systèmes IA dignes de confiance.

Pour fournir un niveau supplémentaire d'assurance qualité, instituez un système « intégré à l'humain » pour proposer des options ou faire des recommandations qui peuvent ensuite être approuvées par des décisions humaines.

Voici une liste de contrôle de six étapes de processus qui peuvent garder les programmes d’IA exempts de biais.

1. Sélectionnez le modèle d'apprentissage approprié :

• Lors de l’utilisation d’un modèle supervisé, la partie prenante sélectionne les données d’apprentissage. Il est essentiel que l’équipe de la partie prenante soit diversifiée, et pas seulement scientifique des données, et qu’elle ait reçu une formation pour aider à prévenir les préjugés inconscients.  
  
• Les modèles non supervisés utilisent l’IA seule pour identifier les biais. Des outils de prévention des biais doivent être intégrés aux réseaux neuronaux afin qu’ils apprennent à reconnaître ce qui est biaisé.

2. Entraîner avec les bonnes données : machine learning formé sur les mauvaises données produira de mauvais résultats. Quelles que soient les données introduites dans l’IA, elles doivent être complètes et équilibrées pour reproduire les données démographiques réelles du groupe considéré.     

3. Choisissez une équipe équilibrée: Plus l’équipe d’IA est variée (sur le plan racial, économique, par niveau d’éducation, par sexe et par description de poste), plus elle est susceptible de reconnaître les préjugés. Les talents et les points de vue d’une équipe d’IA bien équilibrée doivent inclure des innovateurs commerciaux en IA, des créateurs d’IA, des responsables de la mise en œuvre de l’IA et une représentation des consommateurs de cet effort d’IA particulier.⁹  

4. Effectuer le traitement des données en pleine conscience : Les entreprises doivent être conscientes des biais à chaque étape du traitement des données. Le risque n’est pas seulement dans la sélection des données : que ce soit lors du pré-traitement, du traitement ou du post-traitement, des biais peuvent s’infiltrer à tout moment et être introduits dans l’IA.  

5. Surveillez en permanence: aucun modèle n'est jamais complet ou permanent. Une surveillance et des tests continus avec des données réelles provenant de l’ensemble d’une organisation peuvent aider à détecter et à corriger les préjugés avant qu’ils ne causent des dommages. Afin d’éviter davantage les biais, l’organisation devrait envisager une évaluation par une équipe indépendante au sein de l’organisation ou par un tiers de confiance.  

6. Évitez les problèmes d'infrastructure: outre les influences humaines et les données, l'infrastructure elle-même peut parfois être source de biais. Par exemple, en utilisant les données collectées par les capteurs mécaniques, l’équipement lui-même pourrait injecter un biais si les capteurs fonctionnent mal. Ce type de biais peut être difficile à détecter et nécessite d’investir dans les infrastructures numériques et technologiques les plus récentes.