Cuando la IA comete un error debido a un sesgo -por ejemplo, cuando a un grupo de personas se le niegan oportunidades, se le identifica erróneamente en las fotos o se le castiga injustamente-, la Organización infractora sufre daños en su marca y reputación. Al mismo tiempo, las personas de esos grupos y la sociedad en su conjunto pueden experimentar el daño del cliente sin ni siquiera darse cuenta. He aquí algunos ejemplos destacados de disparidades y prejuicios en la IA y el daño que pueden causar.

En la atención sanitaria, la infrarrepresentación de datos de mujeres o grupos minoritarios puede sesgar los algoritmos predictivos de la IA^.2 Por ejemplo, se ha observado que los sistemas de diagnóstico asistido por ordenador (CAD) arrojan Resultados de precisión más bajos para los pacientes afroamericanos que para los blancos.

Aunque las herramientas de IA pueden agilizar la automatización del escaneo de currículos durante una búsqueda para ayudar a identificar a los candidatos ideales, la información solicitada y las respuestas descartadas pueden dar lugar a resultados desproporcionados entre los grupos. Por ejemplo, si un anuncio de trabajo usa la palabra "ninja", podría atraer a más hombres que mujeres, aunque eso no sea de ninguna manera un requisito laboral.³   

Como prueba de generación de imágenes, Bloomberg solicitó la creación de más de 5.000 imágenes de IA y descubrió que "el mundo según Stable Diffusion está dirigido por hombres blancos como directores generales". Las mujeres rara vez son médicas, abogadas o juezas. Los hombres de piel oscura cometen delitos, mientras que las mujeres de piel oscura voltean hamburguesas".⁴  Midjourney realizó un estudio similar sobre la generación de arte por IA, solicitando imágenes de personas en profesiones especializadas. Los Resultados mostraban tanto a personas jóvenes como mayores, pero las personas mayores eran siempre hombres, lo que refuerza el sesgo de género del papel de la mujer en el lugar de trabajo^.5 

Con las herramientas policiales predictivas de la IA utilizadas por algunas organizaciones del sistema de justicia penal se supone que se identifican las zonas en las que es probable que se produzcan delitos. Sin embargo, a menudo se basan en datos históricos de arrestos, lo que puede reforzar los patrones existentes de discriminación racial y ataques desproporcionados contra las comunidades minoritarias.⁶

Los resultados distorsionados pueden perjudicar a la Organización y a la sociedad en general. He aquí algunos de los tipos más comunes de sesgo^AI7. 

• Sesgo del algoritmo: La desinformación puede Resultados si el problema o la pregunta formulados no son del todo correctos o específicos, o si los comentarios al algoritmo machine learning no ayudan a orientar la búsqueda de una solución. 

• Sesgo cognitivo: AI Tecnología requiere entrada humana, y los seres humanos son falibles. Los prejuicios personales pueden filtrarse sin que los profesionales se den cuenta. Esto puede afectar al conjunto de datos o al comportamiento del modelo. 
   

• Sesgo de confirmación:Estrechamente relacionado con el sesgo cognitivo, se produce cuando la IA se basa demasiado en creencias o tendencias preexistentes en los datos, duplicando los sesgos existentes e incapaz de identificar nuevos patrones o tendencias. 
   

• Sesgo de exclusión: este tipo de sesgo se produce cuando los datos importantes se dejan fuera de los datos que se utilizan, a menudo porque el desarrollador no ha podido ver factores nuevos e importantes. 
   

• Sesgo de medición: El sesgo de medición se debe a datos incompletos. La mayoría de las veces se trata de un descuido o de una falta de preparación que hace que el conjunto de datos no incluya a toda la población que debería tenerse en cuenta. Por ejemplo, si una universidad quisiera predecir los factores para una graduación exitosa, pero incluyera solo a los graduados, las respuestas pasarían por alto por completo los factores que hacen que algunos abandonen la escuela. 
   

• Sesgo de homogeneidad fuera del grupo: Este es un caso de no saber lo que uno no sabe. Las personas tienden a comprender mejor a los miembros de su propio grupo -el grupo al que uno pertenece- y a Think son más diversos que los miembros de grupos externos. Los resultados pueden ser que los desarrolladores creen algoritmos menos capaces de distinguir entre individuos que no forman parte del grupo mayoritario en los datos de entrenamiento, lo que da lugar a sesgos raciales, clasificaciones erróneas y respuestas incorrectas. 

• Prejuicios: Se produce cuando los estereotipos y las suposiciones sociales erróneas se cuelan en el conjunto de datos del algoritmo, lo que inevitablemente conduce a Resultados sesgados. Por ejemplo, la IA podría devolver Resultados que muestren que sólo los hombres son médicos y todas las enfermeras son mujeres. 
   

• Sesgo de recuerdo: se desarrolla durante el etiquetado de datos, donde las etiquetas se aplican de manera inconsistente mediante observaciones subjetivas.  
   

• Sesgo de muestra/selección: Este es un problema cuando los datos utilizados para entrenar el modelo machine learning no son lo suficientemente grandes, no son lo suficientemente representativos o son demasiado incompletos para entrenar suficientemente el sistema. Si todos los profesores consultados para formar a un modelo de AI tienen las mismas cualificaciones académicas, los futuros profesores que se consideren deberán tener idénticas cualificaciones académicas. 
   

• Sesgo estereotipador: Ocurre cuando un sistema de IA refuerza estereotipos nocivos, normalmente sin darse cuenta. Por ejemplo, un sistema de traducción de idiomas podría asociar algunos idiomas con ciertos géneros o estereotipos étnicos. McKinsey hace una advertencia sobre los intentos de eliminar los prejuicios de los conjuntos de datos: "Un ingenuo Approach está eliminando las clases protegidas (como el sexo o la raza) de los datos y suprimiendo las etiquetas que hacen que el algoritmo sea tendencioso. Sin embargo, este Approach puede no funcionar porque las etiquetas eliminadas pueden afectar a la comprensión del modelo y la precisión de tus Resultados puede empeorar".⁸

El primer paso para evitar la trampa del sesgo es dar un paso atrás al principio y reflexionar un poco sobre la IA. Como ocurre con casi cualquier reto empresarial, los problemas son mucho más fáciles de corregir por adelantado que esperar a entrenar el naufragio y luego ordenar los Resultados dañados. Pero muchas Organizaciones tienen prisa: son tontas de remate, y eso les sale caro. 

Identificar y dirigir el sesgo en la IA requiere gobernanza de la IA, o la capacidad de dirigir, gestionar y supervisar las actividades de IA de una Organización. En la práctica, la gobernanza de la IA crea un conjunto de políticas, prácticas y marcos para guiar el desarrollo y uso responsables de la tecnología de IA. Cuando se hace bien, la gobernanza de la IA ayuda a garantizar que haya un equilibrio en los beneficios otorgados a las empresas, los clientes, los empleados y la sociedad en su conjunto.

La gobernanza de la IA suele incluir métodos destinados a evaluar la justicia, la equidad y la inclusión. Enfoques como la justicia contrafáctica identifican los sesgos en la toma de decisiones de un modelo y garantizan Resultados equitativos, incluso cuando se incluyen atributos sensibles como el sexo, la raza o la orientación sexual.

 Debido a la complejidad de la IA, un algoritmo puede ser un sistema de caja negra con escaso conocimiento de los datos utilizados para crearlo. Las prácticas de transparencia y la tecnología ayudan a garantizar que se utilicen datos imparciales para construir el sistema y que los resultados sean justos. Las empresas que trabajan para proteger la información de sus clientes generan confianza en la marca y tienen más probabilidades de crear sistemas fiables de IA.

Para proporcionar otra capa de garantía de calidad, instituya un sistema de "humano en el circuito" para ofrecer opciones o hacer recomendaciones que luego puedan ser aprobadas por decisiones humanas.

He aquí una lista de seis pasos del proceso que pueden mantener los programas de IA libres de prejuicios.

1. Seleccione el modelo de aprendizaje correcto:

• Cuando se utiliza un modelo supervisado, los interesados seleccionan los datos de entrenamiento. Es crucial que el equipo de stakeholder sea diverso -no sólo de ciencia de datos- y que haya recibido formación para ayudar a prevenir los prejuicios inconscientes.  
  
• Los modelos no supervisados utilizan la IA por sí sola para identificar sesgos. Es necesario incorporar herramientas de prevención de sesgos en las redes neuronales para que aprendan a reconocer lo que está sesgado.

2. entrenar con los datos correctos: machine learning entrenado con datos erróneos producirá Resultados erróneos. Los datos que se introduzcan en la IA deben ser completos y equilibrados para reproducir la demografía real del grupo considerado.     

3. Elija un equipo equilibrado: Cuanto más variado sea el equipo de IA -desde el punto de vista racial, económico, por nivel educativo, por sexo y por descripción del puesto-, más probabilidades habrá de reconocer los prejuicios. Entre los talentos y puntos de vista de un equipo de IA equilibrado deben figurar innovadores empresariales de IA, creadores de IA, implementadores de IA y una representación de los consumidores de este esfuerzo concreto de IA^.9  

4. Realizar el proceso de datos de forma consciente: Las empresas deben ser conscientes de los sesgos en cada paso del procesamiento de datos. El riesgo no está sólo en la selección de datos: ya sea durante el preprocesamiento, el procesamiento o el postprocesamiento, el sesgo puede introducirse en cualquier punto y alimentar la IA.  

5. Monitoreo continuo: Ningún modelo está completo o es permanente. La supervisión y las pruebas continuas con datos reales de toda una Organización pueden ayudar a detectar y corregir los sesgos antes de que causen daños. Para evitar sesgos, la Organización debe considerar la evaluación por un equipo independiente de la Organización o un tercero de confianza.  

6. Evite los problemas de infraestructura: Aparte de las influencias humanas y de datos, a veces la infraestructura en sí misma puede causar sesgos. Por ejemplo, utilizando datos recogidos de sensores mecánicos, el propio equipo podría inyectar sesgo si los sensores funcionan mal. Este tipo de sesgo puede ser difícil de detectar y requiere invertir en las últimas infraestructuras digitales y tecnológicas.