¿Qué es el sesgo de IA?

Cuando no se aborda el sesgo de la IA, puede repercutir en el éxito de una organización y obstaculizar la capacidad de las personas para participar en la economía y la sociedad. El sesgo reduce la precisión de la IA y, por lo tanto, su potencial.

Las empresas tienen menos probabilidades de obtener beneficio de sistemas que producen resultados distorsionados. Y los escándalos derivados del sesgo de la IA podrían fomentar la desconfianza entre las personas de color, las mujeres, las personas con discapacidad, la comunidad LGBTQ u otros grupos marginados.

Los modelos en los que se basan los esfuerzos de IA absorben los sesgos de la sociedad que pueden estar silenciosamente incrustados en las montañas de datos con los que se entrenan. La recopilación de datos con sesgos históricos que reflejen la desigualdad social puede resultar perjudicial para los grupos históricamente marginados en casos de uso como la contratación, la policía, la calificación crediticia y muchos otros. Según The Wall Street Journal, "A medida que se generaliza el uso de la inteligencia artificial, las empresas siguen esforzándose por abordar la dirección de los prejuicios generalizados".¹

Cuando la IA comete un error debido a un sesgo, como grupos de personas a las que se les niegan oportunidades, se identifican erróneamente en las fotos o se castiga injustamente, la organización infractora sufre daños en su marca y reputación. Al mismo tiempo, las personas de esos grupos y la sociedad en su conjunto pueden tener Experiencia de daño sin siquiera darse cuenta. Estos son algunos ejemplos destacados de disparidades y sesgos en la IA y el daño que pueden causar.

En la atención médica, la infrarrepresentación de datos de mujeres o grupos minoritarios puede sesgar los algoritmos predictivos de la IA.² Por ejemplo, se ha observado que los sistemas de diagnóstico asistido por ordenador (CAD) ofrecen resultados de menor precisión para los pacientes afroamericanos que para los blancos.

Si bien las herramientas de IA pueden agilizar la automatización del escaneo de currículums durante una búsqueda para ayudar a identificar a los candidatos ideales, la información solicitada y las respuestas filtradas pueden generar resultados desproporcionados en todos los grupos. Por ejemplo, si un anuncio de empleo utiliza la palabra “ninja”, podría atraer a más hombres que mujeres, aunque eso no sea un requisito laboral.³

Como prueba de generación de imágenes, Bloomberg solicitó la creación de más de 5000 imágenes de IA y descubrió que "el mundo según Stable Diffusion está dirigido por directores ejecutivos (CEO) hombres blancos. Las mujeres rara vez son médicas, abogadas o juezas. Los hombres de piel oscura cometen delitos, mientras que las mujeres de piel oscura hacen hamburguesas".⁴ Midjourney realizó un estudio similar sobre la generación de arte mediante IA, solicitando imágenes de personas en profesiones especializadas. El resultado mostró tanto a personas más jóvenes como a mayores, pero los mayores eran siempre hombres, lo que refuerza el sesgo de género del papel de la mujer en el lugar de trabajo.⁵ 

Se supone que las herramientas policiales predictivas impulsado por IA que emplean algunas organizaciones del sistema de justicia penal identifican las zonas en las que es probable que se produzcan delitos. Sin embargo, a menudo se basan en datos históricos de arrestos, lo que puede reforzar los patrones existentes de elaboración de perfiles raciales y ataques desproporcionados a las comunidades minoritarias.⁶

Los resultados distorsionados pueden dañar a las organizaciones y a la sociedad en general. A continuación se presentan algunos de los tipos más comunes de sesgo de IA⁷.

• Sesgo del algoritmo: puede producirse información errónea si el problema o la pregunta planteada no es totalmente correcta o específica, o si el feedback que recibe el algoritmo de machine learning no ayuda a orientar la búsqueda de una solución.
  
  
• Sesgo cognitivo: la Tecnología de IA requiere entrada humana, y los humanos son falibles. Los prejuicios personales pueden filtrar sin que los profesionales se den cuenta. Esto puede afectar al conjunto de datos o al comportamiento del modelo.
  
  
• Sesgo de confirmación: estrechamente relacionado con el sesgo cognitivo, esto sucede cuando la IA se basa demasiado en creencias o tendencias preexistentes en los datos, duplicando los sesgos existentes e incapaz de identificar nuevos patrones o tendencias.

• Sesgo de exclusión: este tipo de sesgo se produce cuando se omiten datos importantes de los datos que se utilizan, a menudo porque el desarrollador no ha podido ver factores nuevos e importantes.
  
  
• Sesgo de medición: el sesgo de medición es causado por datos incompletos. Esto suele ser un descuido o falta de preparación que da como resultado que el conjunto de datos no incluya a toda la población que debe considerarse. Por ejemplo, si una universidad quisiera predecir los factores para una graduación exitosa, pero solo incluyera a los graduados, las respuestas pasarían por alto por completo los factores que causan que algunos abandonen los estudios.

• Sesgo de homogeneidad fuera del grupo: se trata de un caso de no saber lo que uno no sabe. Las personas tienden a comprender mejor a los miembros de su propio grupo, el grupo al que uno pertenece, y a pensar que son más diversos que los miembros de grupos externos. El resultado puede ser que los desarrolladores creen algoritmos que sean menos capaces de distinguir entre individuos que no son parte del grupo mayoritario en los datos de entrenamiento, lo que genera sesgo racial, clasificación errónea y respuestas incorrectas.

• Sesgo de prejuicio: se produce cuando los estereotipos y las suposiciones sociales erróneas se abren camino en el conjunto de datos del algoritmo, lo que inevitablemente conduce a resultados sesgados. Por ejemplo, la IA podría arrojar resultados que mostraran que solo los hombres son médicos y todas las enfermeras son mujeres.
  
  
• Sesgo de memoria: se desarrolla durante el etiquetado de datos, donde las etiquetas se aplican de manera inconsistente por observaciones subjetivas.
  
  
• Sesgo de muestra/selección: este es un problema cuando los datos usados para capacitar el modelo de machine learning no son lo suficientemente grandes, no son lo suficientemente representativos o están demasiado incompletos para capacitar suficientemente el sistema. Si todos los docentes consultados para capacitar un modelo de IA tienen las mismas calificaciones académicas, entonces los futuros maestros considerados tendrían que tener calificaciones académicas idénticas.
  
  
• Sesgo de estereotipos: ocurre cuando un sistema de IA, normalmente sin darse cuenta-, refuerza estereotipos perjudiciales. Por ejemplo, un sistema de traducción de idiomas podría asociar algunos idiomas con ciertos géneros o estereotipos étnicos. McKinsey ofrece una advertencia sobre los intentos de eliminar los prejuicios de los conjuntos de datos: “Un enfoque ingenuo es eliminar las clases protegidas (como el sexo o la raza) de los datos y eliminar las etiquetas que hacen que el algoritmo sea sesgado. Sin embargo, es posible que este enfoque no funcione porque las etiquetas eliminadas pueden afectar la comprensión del modelo y la precisión de los resultados puede empeorar".⁸

El primer paso para evitar la trampa del sesgo es dar un paso atrás desde el principio y pensar un poco en un esfuerzo de IA. Como ocurre con casi cualquier desafío empresarial, los problemas son mucho más fáciles de arreglar por adelantado en lugar de esperar el choque de trenes y luego clasificar los resultados dañados. Pero muchas organizaciones tienen prisa: cuestan dinero y les cuesta.

Identificar y abordar el sesgo en la IA requiere una gobernanza de la IA, o la capacidad de dirigir, administrar y monitorear las actividades de IA de una organización. En la práctica, la gobernanza de la IA crea un conjunto de políticas, prácticas y marcos para guiar el desarrollo y uso responsables de las tecnologías de IA. Cuando se hace bien, la gobernanza de la IA ayuda a garantizar que haya un equilibrio de beneficios otorgados a las empresas, los clientes, los empleados y la sociedad en su conjunto.

La gobernanza de la IA suele incluir métodos que tienen como objetivo evaluar la imparcialidad, la equidad y la inclusión. Enfoques como la justicia contrafactual identifican el sesgo en la toma de decisiones de un modelo y garantizan resultados equitativos, incluso cuando se incluyen atributos sensibles como el género, la raza o la orientación sexual.

Debido a la complejidad de la IA, un algoritmo puede ser un sistema de caja negra con pocos insights sobre los datos utilizados para crearlo. Las prácticas y tecnologías de transparencia ayudan a garantizar que se utilicen datos sin sesgo para crear el sistema y que los resultados sean justos. Las empresas que trabajan en la protección de la información de sus clientes construyen confianza en la marca y tienen más posibilidades de crear sistemas de IA confiable.

Para ofrecer otra capa de garantía de calidad, instituya un sistema "humano en el bucle" que ofrezca opciones o haga recomendaciones que luego puedan ser aprobadas por decisiones humanas.

Aquí hay una lista de verificación de seis pasos del proceso que pueden mantener los programas de IA libres de sesgos.

1. Seleccionar el modelo de aprendizaje correcto:

• Cuando se utiliza un modelo supervisado, los stakeholders seleccionan los datos de entrenamiento. Es crítico que el equipo de stakeholders sea diverso, no solo científicos de datos, y que hayan recibido formación para ayudar a prevenir los sesgos inconscientes.
  
• Los modelos no supervisados utilizan únicamente la IA para identificar los sesgos. Es necesario incorporar herramientas de prevención de sesgos en las redes neuronales para que aprendan a reconocer lo que está con sesgo.

2. Entrenar con los datos correctos: el machine learning entrenado con los datos incorrectos producirá resultados incorrectos. Cualquier dato que se introduzca en la IA debe ser completo y equilibrado para replicar la demografía real del grupo considerado.

3. Elegir un equipo equilibrado: cuanto más variado sea el equipo de IA (racial, económicamente, por nivel educativo, por género y por descripción del trabajo), más probable será que reconozca sesgos. Los talentos y puntos de vista de un equipo de IA completo deben incluir innovadores de negocios de IA, creadores de IA, implementadores de IA y una representación de los consumidores de este esfuerzo de IA en particular.⁹

4. Llevar a cabo el proceso de datos con atención: las empresas deben ser conscientes de los sesgos en cada paso del proceso de datos. El riesgo no está solo en la selección de datos: ya sea durante el preprocesamiento, el procesamiento interno o el posprocesamiento, el sesgo puede introducirse en cualquier momento e introducirse en la IA.

5. Monitorear continuamente: ningún modelo es nunca completo o permanente. El monitoreo y las pruebas continuos con datos del mundo real de toda una organización pueden ayudar a detectar y corregir el sesgo antes de que cause daño. Para evitar aún más sesgos, las organizaciones deben considerar evaluaciones realizadas por un equipo independiente dentro de la organización o de un tercero de confianza.

6. Evitar los problemas de infraestructura: además de las influencias humanas y de datos, a veces la propia infraestructura puede causar sesgos. Por ejemplo, al utilizar los datos recopilados de los sensores mecánicos, el propio equipo podría inyectar sesgos si los sensores no funcionan correctamente. Este tipo de sesgo puede ser difícil de detectar y requiere invertir en las últimas infraestructuras digitales y tecnológicas.