¿Qué es la IA explicable?

La IA explicable se utiliza para describir un modelo de IA, su impacto previsto y sus posibles sesgos. Ayuda a caracterizar la precisión del modelo, la imparcialidad, la transparencia y los resultados en la toma de decisiones impulsada por IA. La IA explicable es decisiva para que una organización cree confianza y seguridad a la hora de poner en producción modelos de IA. La explicabilidad de la IA también ayuda a una organización a adoptar un enfoque responsable para el desarrollo de la IA.

A medida que la IA se vuelve más avanzada, los humanos se enfrentan al reto de comprender y repasar cómo el algoritmo llegó a un resultado. Todo el proceso de cálculo se convierte en lo que comúnmente se denomina una "caja negra", ya que es imposible de interpretar.

Estos modelos de caja negra se crean directamente a partir de los datos. Ni siquiera los ingenieros o científicos de datos que crean el algoritmo pueden entender o explicar qué ocurre exactamente en su interior o cómo el algoritmo de IA llegó a un resultado concreto.

Hay muchas ventajas en comprender cómo un sistema habilitado para la IA ha llevado a un resultado específico. La explicabilidad puede ayudar a los desarrolladores a asegurarse de que el sistema funciona como se esperaba. También puede ser necesaria para cumplir las normas o puede ser importante para permitir que los afectados por una decisión impugnen o cambien ese resultado.¹

Es crucial que una organización tenga una comprensión completa de los procesos de toma de decisiones de la IA, con el monitoreo de modelos y la responsabilidad de la IA, y que no confíe ciegamente en ellos. La IA explicable puede ayudar a los humanos a comprender y explicar los algoritmos de aprendizaje automático (ML), el aprendizaje profundo y las redes neuronales.

A menudo se piensa que los modelos de ML son cajas negras imposibles de interpretar². Las redes neuronales utilizadas en el aprendizaje profundo son algunas de las más difíciles de entender para un humano. El sesgo, que a menudo se basa en la raza, el sexo, la edad o la ubicación, ha sido un riesgo de larga data en el entrenamiento de modelos de IA.

Además, el rendimiento de los modelos de IA puede desviarse o degradarse porque los datos de producción difieren de los datos del entrenamiento. Esto hace que sea crucial para una empresa monitorear y gestionar de manera continua los modelos para promover la explicabilidad de la IA, al tiempo que se mide el impacto empresarial del uso de ese tipo de algoritmos.

La IA explicable también ayuda a promover la confianza del usuario final, la auditabilidad de los modelos y el uso productivo de la IA. También mitiga los riesgos de cumplimiento normativo, legales, de seguridad y de reputación de la IA de producción.

La IA explicable es uno de los requisitos clave para implementar una IA responsable, una metodología para la implementación a gran escala de métodos de IA en organizaciones reales con imparcialidad, explicabilidad de los modelos y responsabilidad³.Para ayudar a adoptar la IA de forma responsable, las organizaciones necesitan integrar principios éticos en las aplicaciones y procesos de IA mediante la creación de sistemas de IA basados en la confianza y la transparencia.

Con la IA explicable (así como con machine learning interpretable), las organizaciones pueden obtener acceso a la toma de decisiones subyacente de la tecnología de IA y están facultadas para realizar ajustes. La IA explicable puede mejorar la experiencia del usuario de un producto o servicio ayudándole a confiar en que la IA está tomando buenas decisiones. ¿Cuándo dan los sistemas de IA suficiente confianza en la decisión como para fiarse de ella, y cómo puede el sistema de IA corregir los errores que surjan?⁴.

A medida que la IA se vuelve más avanzada, sigue siendo necesario comprender y controlar los procesos de ML para garantizar que los resultados de los modelos de IA sean precisos. Veamos la diferencia entre IA y XAI, los métodos y técnicas utilizados para convertir la IA en XAI y la diferencia entre interpretar y explicar los procesos de IA.

¿Cuál es exactamente la diferencia entre la IA “normal” y la IA explicable? XAI implementa técnicas y métodos específicos para garantizar que cada decisión tomada durante el proceso de machine learning (ML) pueda rastrearse y explicarse.

La IA, por otro lado, a menudo llega a un resultado mediante el uso de un algoritmo de machine learning (ML), pero los arquitectos de los sistemas de IA no entienden completamente cómo el algoritmo llegó a ese resultado. Esto dificulta la verificación de la precisión y conduce a la pérdida de control, responsabilidad y auditabilidad.

La configuración de las técnicas XAI consta de tres métodos principales. La precisión de las predicciones y la trazabilidad responden a las necesidades tecnológicas, mientras que la comprensión de las decisiones responde a las necesidades humanas. La IA explicable, especialmente el machine learning explicable, será esencial para que los futuros combatientes comprendan, confíen adecuadamente y gestionen con eficacia una generación emergente de socios de máquinas artificialmente inteligentes.⁵

La precisión es un componente clave del éxito del uso de la IA en el funcionamiento cotidiano. Mediante la ejecución de simulaciones y la comparación de los resultados de XAI con los resultados del conjunto de datos de entrenamiento, se puede determinar la precisión de la predicción. La técnica más utilizada para ello son las explicaciones agnósticas de modelos interpretables locales (LIME), que explican la predicción de los clasificadores por el algoritmo de ML.

La trazabilidad es otra técnica clave para lograr la XAI. Se logra, por ejemplo, al limitar la forma en que pueden tomarse las decisiones y estableciendo un alcance más estrecho para las reglas y características del ML. Un ejemplo de técnica de trazabilidad para XAI es DeepLIFT (Deep Learning Important FeaTures), que compara la activación de cada neurona con su neurona de referencia y muestra un vínculo trazable entre cada neurona activada e incluso muestra dependencias entre ellas.

Este es el factor humano. Muchas personas no confían en la IA, pero para trabajar con ella de manera eficiente, necesitan aprender a hacerlo. Esto se consigue educando al equipo que trabaja con la IA para que pueda entender cómo y por qué la IA toma decisiones.

La interpretabilidad es el grado en que un observador puede entender la causa de una decisión. Es la tasa de éxito que los humanos pueden predecir para el resultado de lo producido por la IA, mientras que la explicabilidad va un paso más allá y examina cómo la IA llegó al resultado.

La IA explicable y la IA responsable tienen objetivos similares, pero enfoques diferentes. He aquí las principales diferencias entre la IA explicable y la IA responsable:

• La IA explicable examina los resultados de la IA después de que se hayan computado.
• La IA responsable examina la IA durante las fases de planificación para que el algoritmo de IA sea responsable antes de que se computen los resultados.
• La IA explicable y la IA responsable pueden trabajar juntas para hacer una IA mejor.

Con la IA explicable, una empresa puede solucionar problemas y mejorar el rendimiento de los modelos al tiempo que ayuda a las partes interesadas a comprender los comportamientos de los modelos de IA. Investigar los comportamientos de los modelos mediante el rastreo de la información estratégica sobre el estado de la implementación, la equidad, la calidad y las desviaciones es esencial para escalar la IA.

La evaluación continua de los modelos permite a una empresa comparar las predicciones de los modelos, cuantificar su riesgo y optimizar su rendimiento. Mostrar los valores positivos y negativos en los comportamientos de los modelos con los datos utilizados para generar explicaciones agiliza las evaluaciones de los modelos.Una plataforma de datos e IA puede generar atribuciones de características para las predicciones de los modelos y capacitar a los equipos para investigar visualmente el comportamiento de los modelos con gráficos interactivos y documentos exportables.

Para generar resultados deseables con la IA explicable, tenga en cuenta lo siguiente.

Imparcialidad y depuración: gestione y monitoree la imparcialidad. Analice su implementación en busca de posibles sesgos.

Mitigación de las desviaciones del modelo: analice su modelo y haga recomendaciones basadas en el resultado más lógico. Alerte cuando los modelos se desvíen de los resultados previstos.

Gestión de riesgos de modelos: cuantifique y mitigue el riesgo de los modelos. Reciba alertas cuando un modelo funcione de manera inadecuada. Comprenda qué es lo que hace que las desviaciones persistan.

Automatización del ciclo de vida: cree, ejecute y gestione modelos como parte de los servicios integrados de datos e IA. Unifique las herramientas y los procesos en una plataforma para monitorear los modelos y compartir los resultados. Explique las dependencias de los modelos de machine learning.

Preparación para múltiples nubes: despliegue proyectos de IA en nubes híbridas, incluidas nubes públicas, nubes privadas y on premises. Fomente la confianza con la IA explicable.

• Atención médica: acelera el diagnóstico, el análisis de imágenes, la optimización de recursos y el diagnóstico médico. Mejora la transparencia y la trazabilidad en la toma de decisiones para la atención al paciente. Optimiza el proceso de aprobación farmacéutica con IA explicable.

• Servicios financieros: mejora las experiencias de los clientes con un proceso transparente de aprobación de préstamos y créditos. Acelera las evaluaciones del riesgo crediticio, de gestión de patrimonios y de delitos financieros. Acelera la resolución de posibles reclamaciones y problemas. Aumenta la confianza en los precios, las recomendaciones de productos y los servicios de inversión.

• Justicia penal: optimiza los procesos de predicción y evaluación de riesgos. Acelera las resoluciones utilizando IA explicable en análisis de ADN, análisis de la población reclusa y previsión de la delincuencia. Detecta posibles sesgos en los datos de entrenamiento y en los algoritmos.