Apprentissage automatique et biais : Impacts et solutions

Share this post:

Quel est l’impact des biais et quels sont les moyens de les éliminer des modèles d’apprentissage automatique ?

Un biais est un préjudice en faveur ou à l’encontre d’une personne ou d’un groupe, ou une chose considérée comme inéquitable. Mais à mesure que l’apprentissage automatique devient une partie intégrante de nos vies, la question est maintenant de savoir s’il peut être biaisé ? Dans cet article, nous allons creuser cette question, son impact, et examiner les moyens d’éliminer les biais des modèles d’apprentissage automatique.

L’apprentissage automatique s’est révélé très prometteur pour le pilotage de voitures sans conducteur, le diagnostic précis du cancer par radiographie et la prédiction financière basée sur des données historiques (pour n’en citer que quelques-uns). Mais avec les avantages de l’apprentissage automatique, viennent également certains défis. L’un des principaux défis est la présence de biais dans les classifications et les prédictions issus d’algorithmes d’IA. Ces biais ne sont pas anodins. Ils ont de lourdes conséquences dès lors qu’on utilise ces modèles pour prendre des décisions. Par conséquent, il est important de comprendre comment des biais peuvent s’introduire dans les modèles, et comment les détecter et les supprimer.

La question du biais

Un exemple de biais dans l’apprentissage automatique est celui d’une application utilisée pour évaluer la durées pénales et la libération conditionnelle de criminels condamnés (son nom est COMPAS). En raison de la surpopulation dans de nombreuses prisons, des évaluations sont demandées pour identifier les détenus présentant un faible risque de récidive. Ces prisonniers sont ensuite examinés pour une éventuelle libération, ce qui permet de faire de la place pour les condamnés entrants. Un large éventail de questions sur le détenu permet de calculer un score de risque. On demande notamment si l’un des parents du détenu a déjà été emprisonné ou si des amis ou des connaissances ont été emprisonnés (sans inclure la question de la race).

On a constaté que cet outil permettait de prédire avec une bonne précision la récidive des criminels condamnés (peu de faux positifs), mais dans le cas où il est erroné dans sa prédiction, cela est lié à un biais racial. Northpointe, la société qui a développé COMPAS, a par la suite présenté des données qui corroborent les conclusions de son algorithme. Le jury n’a donc pas encore statué sur ce problème. Mais il annonce que, qu’il y ait ou non des biais, les résultats seront soumis à une analyse contradictoire qui nécessitera des données supplémentaires pour démontrer l’équité.

L’apprentissage automatique est considéré comme un outil essentiel en ressources humaines dans une variété de cas d’usage – que ce soit pour la recommandation de formation au recrutement ou d’autres activités tactiques. En 2014, Amazon a commencé à développer un système pour automatiser la sélection des candidats à interviewer, en fonction du texte figurant sur leur curriculum vitae. Mais ce qu’Amazon a découvert, c’est que l’algorithme semblait favoriser les hommes au détriment des femmes occupant des postes d’ingénieur. Après avoir découvert qu’il était injuste, Amazon de fait de multiples tentatives pour inculquer l’équité à l’algorithme, puis l’a finalement abandonné.

L’application Google Photos permet la classification d’images par identification des objets qu’elles contiennent. Mais un préjugé racial a été découvert lors de son utilisation. Rekognition d’Amazon, un système commercial d’analyse faciale, a également été pointé du doigt pour inclure des préjugés sexistes et raciaux.

Un dernier exemple est le chatbot Tay de Microsoft, sur Twitter. Tay était une IA conversationnelle qui a appris en dialoguant sur Twitter. L’algorithme a utilisé des données publiques pour créer un modèle de conversation, mais a également appris à partir de ses interactions sur Twitter au fil du temps. Malheureusement, toutes les interactions vécues par Tay n’étaient pas positives et Tay a appris les préjugés de la société moderne, ce qui rappelle que même avec les modèles d’IA, vous obtenez en sortie ce que vous mettez en entrée.

L’impact du biais

Quels que soient les biais, les recommandations des algorithmes d’apprentissage automatique ont un impact réel sur les individus et les groupes. Les modèles d’apprentissage automatique qui incluent des biais participent à perpétuer les préjugés, et s’en auto-alimentent. Par conséquent, il est important de détecter les biais dans les modèles et de les éliminer le plus possible.

La source de biais

Une intuition naïve à la présence de biais est que c’est uniquement le résultat des données, mais les raisons sont plus subtiles et liées à l’origine des données, à leur contenu (inclut-elles des éléments que le modèle devrait ignorer ?), et la construction du modèle lui-même (par exemple, comment définissons-nous le bien et le mal dans le contexte de la classification d’un modèle).

Si un algorithme d’apprentissage automatique de pilotage pour véhicule autonome était uniquement construit sur des vidéos de conduite de jour, le résultat serait tragique si le modèle était autorisé à conduire de nuit. Ceci est un biais différent d’un préjugé concernant des humains, mais montre le problème de l’absence d’un ensemble de données représentatif pour le problème en question.

Les préjugés peuvent également apparaître là où nous ne les attendons pas. Dans le cas de l’outil de recrutement d’Amazon, le modèle a pénalisé des expressions utilisées par certains candidats et en a récompensé d’autres. Dans ce cas, les mots pénalisés étaient des mots utilisés couramment par les femmes (qui étaient également sous-représentées dans l’ensemble de données). Ainsi, l’outil d’Amazon a été entraîné avec 10 ans de CV provenant principalement d’hommes et a développé un biais en faveur des CV masculins, basé sur le langage masculin.

Les humains peuvent également amplifier involontairement les biais des modèles d’apprentissage automatique. Le biais chez l’homme peut être inconscient (également appelé biais implicite), c’est-à-dire qu’il peut introduire un biais sans même le savoir.

Explorons comment détecter les biais dans les modèles d’apprentissage automatique et comment les éliminer.

Les différents types de biais

Le problème des biais de données et de modèles d’apprentissage est tel que la plupart des leaders en IA proposent des outils. Afin de les détecter, il faut commencer par analyser les données d’apprentissage. Voici ci-dessous une liste des principaux biais auxquels il faut prêter attention :

• Le biais d’échantillonnage

Un jeu de données peut ne pas représenter l’intégralité du périmètre du problème (comme dans l’exemple de l’apprentissage pour un véhicule autonome avec uniquement des données de jour)

• Les préjugés

Un jeu de données peut également incorporer des données erronées (par exemple, la race ou le sexe d’une personne)

• Le biais d’exclusion

Étant donné que les données sont généralement nettoyées avant d’être utilisées pour l’apprentissage ou le test d’un modèle d’IA, on parle alors de biais d’exclusion. Cela se produit lorsque nous supprimons des colonnes que nous jugeons non pertinentes.

• Le biais de mesure

Un biais de mesure a lieu lorsque les données collectées pour l’apprentissage diffèrent de celles utilisées pendant la production. Cela peut se produire par exemple lorsqu’un jeu de données de type photo/vidéo est collecté avec un type de caméra spécifique, alors que les données de production proviennent d’une caméra présentant des caractéristiques différentes.

• Le biais algorithmique

Ce dernier ne provient pas des données à partir desquelles un modèle a été construit, mais du modèle d’apprentissage automatique lui-même. Cela inclut la façon dont le modèle a été développé ou entraîné, et qui produit des résultats inéquitables.

Traiter les préjugés

Maintenant que nous avons donné des exemples de biais et de leurs causes, voyons comment détecter et prévenir les biais dans les modèles d’apprentissage automatique. Nous explorerons les solutions de Google, Microsoft, IBM et d’autres solutions open source.

L’outil What-If de Google

What-If Tool (WIT) de Google est un outil interactif qui permet à un utilisateur d’explorer visuellement des modèles d’apprentissage automatique. WIT fait maintenant partie de l’application Web open source TensorBoard et fournit un moyen d’analyser des jeux de données en complément de la fonction purement d’apprentissage de TensorFlow. Un exemple de ce que permet WIT est la possibilité de modifier manuellement des données d’apprentissage et d’observer les conséquences sur le modèle associé. Il permet également de générer des graphiques de dépendance partielle pour illustrer comment les prédictions changent lorsqu’une entité est modifiée. WIT peut appliquer divers critères d’équité pour analyser les performances du modèle (focus sur l’ignorance de groupe ou de l’égalité des chances). WIT est simple à utiliser et comprend un certain nombre de démonstrations pour permettre aux utilisateurs une prise en main rapide.

IBM AI Fairness 360

L’une des boîtes à outils les plus complètes pour détecter et éliminer les biais des modèles d’apprentissage automatique est AI Fairness 360 d’IBM. AI Fairness 360 est une boîte à outils open source comprenant plus de 70 mesures d’équité et 10 algorithmes de réduction de biais qui aident à les détecter et à les supprimer. Les algorithmes de réduction des biais incluent le prétraitement optimisé, la repondération, le régulateur de suppression de préjudice, etc. Les métriques incluent la distance euclidienne et de Manhattan, la différence de parité statistique et bien d’autres.

AI Fairness 360 comprend de nombreux de tutoriels et une documentation riche. Il est également possible d’utiliser une démonstration interactive en ligne sur trois jeux de données (y compris le jeu de données COMPAS sur la récidive) qui permet d’explorer les métriques de biais, puis d’appliquer un algorithme d’atténuation et d’afficher les résultats par rapport au modèle d’origine. La boîte à outils est conçue pour être ouverte afin de permettre aux chercheurs d’ajouter leurs propres métriques d’équité et algorithmes de réduction.

Les chercheurs d’IBM ont également proposé un système d’évaluation du biais pour les modèles d’apprentissage automatique dans « Vers l’évaluation du biais composite des services d’intelligence artificielle ». Celui-ci propose un système d’évaluation tiers des biais pour la validation des modèles d’apprentissage automatique.

Identification du biais induit par la technique du prolongement lexical, par Microsoft

On a vu que l’apprentissage conversationnel sur le terrain induit des biais (exemple de Microsoft ci-dessus). Il en est de même de l’encodage des mots par prolongement lexical (technique de représentation de mots largement utilisé sur les données de type textuel). Un article récent de l’Université du Maryland et de Microsoft Research intitulé « Quels sont les biais dans ma parole? ” a développé une approche utilisant le crowdsourcing pour identifier les biais dans les encodages de mots (langage naturel). Le « prolongement lexical » représente des mots par des vecteurs dans un espace vectoriel de haute dimensionnalité. On peut alors utiliser des opérations arithmétiques vectorielles sur ces vecteurs caractéristiques. Cela permet de résoudre des énigmes d’analogie, comme « homme est à roi ce que femme est à x. » Le calcul de x donne « reine », ce qui est une réponse raisonnable. Mais en examinant d’autres analogies on peut découvrir des zones potentielles de biais. Par exemple, « l’homme est à programmeur ce que femme est à ménagère » reflète un préjugé sexiste. Tout aussi problématique : « père est à médecin ce que mère est à infirmière ».

Microsoft a démontré sa capacité à détecter automatiquement les biais dans les encodages de mots à l’aide de tests d’association. Ceci a été inspiré par le test d’association implicite (IAT), largement utilisé pour mesurer les biais humains. Les résultats ont ensuite été validés par crowdsourcing pour confirmer les biais découverts.

Grâce à cette approche, les utilisateurs d’encodage de mots bénéficient d’une réduction du biais.

Autres outils

Le biais est devenu l’un des aspects les plus étudiés de l’apprentissage automatique au cours des dernières années et d’autres outils sont apparus pour détecter et atténuer les biais dans les modèles.

Local Interpretable Model-Agnostic Explanations (Lime) est utilisé pour comprendre pourquoi un modèle fournit une prédiction particulière. Lime fonctionne sur tous les modèles et fournit une interprétation compréhensible pour une prévision donnée.

FairML est une boîte à outils qui peut être utilisée pour auditer des modèles prédictifs en quantifiant l’importance relative des entrées du modèle. Cette importance relative peut ensuite être utilisée pour évaluer l’équité du modèle. FairML fonctionne lui aussi sur n’importe quel modèle de boîte noire.

L’humain dans la boucle

Dans de nombreux cas, les modèles d’apprentissage automatique sont des boîtes noires. Il est possible de leur fournir des données en entrée et de consulter leurs résultats, mais la façon dont ils calculent ces résultats en fonction des entrées est dissimulée dans le modèle d’IA. Des modèles plus transparents peuvent exposer la manière dont ils aboutissent à leurs conclusions, mais tant cette pratique ne sera pas généralisée, une alternative est la solution humaine.

L’humain dans la boucle est une approche hybride qui associe l’apprentissage automatique traditionnel à un suivi humain des résultats. Cela consiste à permettre à des humains de détecter quand des biais algorithmiques ou de données apparaissent. Rappelons que Microsoft a utilisé avec succès le crowdsourcing pour valider ses découvertes de biais d’encodage de mots, ce qui démontre l’utilité d’une approche hybride utile.

Pour aller plus loin

L’équité est un objectif difficile à atteindre et il n’y a pas de consensus sur sa définition mathématique. On peut utiliser la règle des quatre cinquièmes ou tout autre mesure de la parité, mais chacune a ses limites.

En attendant que nous puissions construire des modèles entièrement transparents et explicables, nous devrons nous appuyer sur des kits d’outils pour mesurer et atténuer les biais dans nos modèles d’apprentissage automatique. Heureusement, ces boîtes à outils sont riches en fonctionnalités embarquent une pléthore de métriques d’équité et d’algorithmes d’atténuation des biais.

Écrit par Tim Jones, traduit de l’anglais par Georges-Henri Moll

Version originale : https://developer.ibm.com/articles/machine-learning-and-bias/