La inteligencia artificial explicable (XAI) es un conjunto de procesos y métodos que permiten a los usuarios humanos comprender y confiar en los resultados creados por los algoritmos de aprendizaje automático o machine learning (ML).
La IA explicable se utiliza para describir un modelo de IA, su impacto previsto y sus posibles sesgos. Ayuda a caracterizar la precisión del modelo, la imparcialidad, la transparencia y los resultados en la toma de decisiones impulsada por la IA. La IA explicable es crucial para que una organización genere confianza al poner en producción modelos de IA. La explicabilidad de la IA también ayuda a las organizaciones a adoptar un enfoque responsable del desarrollo de la IA.
A medida que la IA avanza, los humanos se enfrentan al reto de comprender y descifrar cómo el algoritmo ha obtenido un resultado determinado. Todo el proceso de cálculo se convierte en lo que comúnmente se conoce como una “caja negra” imposible de interpretar. Estos modelos de caja negra se crean directamente a partir de los datos. Y, ni siquiera los ingenieros o expertos en ciencia de datos que crean el algoritmo pueden entender o explicar qué ocurre exactamente en su interior o cómo el algoritmo de IA ha llegado a un resultado concreto.
Comprender cómo un sistema basado en IA ha dado lugar a un resultado concreto tiene muchas ventajas. La explicabilidad puede ayudar a los desarrolladores a garantizar que el sistema funcione según lo esperado, puede ser necesaria para cumplir los estándares regulatorios o puede ser importante para que los afectados por una decisión puedan impugnarla o modificarla.¹
Conozca los obstáculos para la adopción de la IA, en particular la falta de soluciones de gestión de riesgos y gobernanza de la IA.
Lea la guía para líderes de datos
Es crucial que una organización conozca a fondo los procesos de toma de decisiones de la IA a través de la monitorización de modelos y la responsabilidad de la IA, y que no confíe ciegamente en ellos. La IA explicable puede ayudar a los humanos a entender y explicar algoritmos de machine learning (ML), deep learning y redes neuronales.
Los modelos de ML (aprendizaje automático) suelen considerarse cajas negras imposibles de interpretar.² Las redes neuronales utilizadas en el deep learning son algunas de las más difíciles de entender para un humano. El sesgo, generalmente basado en la raza, el sexo, la edad o el lugar de residencia, ha sido durante mucho tiempo un riesgo en el entrenamiento de modelos de IA. Además, el rendimiento del modelo de IA puede variar o degradarse porque los datos de producción difieren de los datos de entrenamiento. Esto hace que sea crucial para una empresa monitorizar y gestionar continuamente modelos para promover la explicabilidad de la IA mientras mide el impacto comercial del uso de dichos algoritmos. La IA explicable también ayuda a promover la confianza del usuario final, la auditabilidad del modelo y el uso productivo de la IA. También mitiga los riesgos de conformidad, legales, de seguridad y de reputación de la IA de producción.
La IA explicable es uno de los requisitos clave para implantar una IA responsable, una metodología para la aplicación a gran escala de métodos de IA en organizaciones reales con equidad, explicabilidad de los modelos y responsabilidad.³ Para ayudar a adoptar la IA de forma responsable, las organizaciones deben integrar principios éticos en las aplicaciones y procesos de IA mediante la creación de sistemas de IA basados en la confianza y la transparencia.
Mejore los flujos de trabajo de forma responsable, transparente y explicable para la IA generativa creada en plataformas de terceros.
Con la IA explicable, así como con el machine learning interpretable- las organizaciones pueden acceder a la toma de decisiones subyacente de la tecnología de IA y están facultadas para realizar ajustes. La IA explicable puede mejorar la experiencia del usuario de un producto o servicio al ayudar al usuario final a confiar en la buena toma de decisiones de la IA. ¿Cuándo dan los sistemas de IA suficiente confianza en la decisión como para fiarse de ella, y cómo puede el sistema de IA corregir los errores que surjan⁴?
A medida que avanza la IA, los procesos de ML aún deben comprenderse y controlarse para garantizar que los resultados de los modelos de IA sean precisos. Veamos la diferencia entre IA y XAI, los métodos y técnicas utilizados para convertir la IA en XAI y la diferencia entre interpretar y explicar los procesos de IA.
Comparación entre IA y XAI
¿Cuál es exactamente la diferencia entre la IA “normal” y la IA explicable? Esta última implementa técnicas y métodos específicos para garantizar que cada decisión tomada durante el proceso de aprendizaje automático pueda rastrearse y explicarse. La IA, por su parte, suele llegar a un resultado utilizando un algoritmo de ML, pero los arquitectos de los sistemas de IA no terminan de comprender cómo el algoritmo ha llegado a ese resultado. Esto dificulta la verificación de la exactitud y conduce a la pérdida de control, responsabilidad y auditabilidad.
Técnicas de IA explicables
La configuración de las técnicas XAI consta de tres métodos principales. La precisión de las predicciones y la trazabilidad abordan los requisitos tecnológicos, mientras que la comprensión de las decisiones aborda las necesidades humanas. La IA explicable (en concreto, el machine learning explicable) será esencial para que los futuros combatientes comprendan, confíen adecuadamente y gestionen con eficacia una generación emergente de socios mecánicos artificialmente inteligentes⁵.
Precisión de predicción
La precisión es un componente clave del éxito del uso de la IA en las operaciones cotidianas. Realizando simulaciones y comparando los resultados de XAI con los del conjunto de datos de entrenamiento, puede determinarse la precisión de la predicción. La técnica más utilizada para ello son las explicaciones locales interpretables del modelo (LIME, Local Interpretable Model-Agnostic Explanations), que explican la predicción de los clasificadores mediante el algoritmo de ML.
Trazabilidad
La trazabilidad es otra técnica clave para lograr la XAI. Esto se consigue, por ejemplo, limitando la forma en que pueden tomarse las decisiones y estableciendo un alcance más limitado para las reglas y características del ML. Un ejemplo de técnica XAI de trazabilidad es DeepLIFT (Deep Learning Important FeaTures), que compara la activación de cada neurona con su neurona de referencia y muestra un vínculo trazable entre cada neurona activada, e incluso muestra dependencias entre ellas.
Comprensión de decisiones
Este es el factor humano. Mucha gente desconfía de la IA, pero para trabajar con ella de manera eficiente hay que aprender a confiar en ella. Esto se consigue educando al equipo que trabaja con la IA para que pueda entender cómo y por qué la IA toma decisiones.
La interpretabilidad es el grado en que un observador puede comprender la causa de una decisión. Es el porcentaje de éxito que los humanos pueden predecir en lo que respecta a los resultados de la IA, mientras que la explicabilidad va un paso más allá y analiza cómo la IA ha llegado a dichos resultados.
La IA explicable y la IA responsable tienen objetivos similares, pero enfoques diferentes. Estas son las principales diferencias entre la IA explicable y la responsable:
- La IA explicable examina los resultados de la IA después de calcularlos.
- La IA responsable analiza la IA durante las fases de planificación para hacer que el algoritmo de IA sea responsable antes de que se computen los resultados.
- La IA explicable y la responsable pueden trabajar juntas para crear una IA mejor.
Con la IA explicable, una empresa puede solucionar problemas y mejorar el rendimiento de los modelos al tiempo que ayuda a las partes interesadas a comprender los comportamientos de los modelos de IA. Investigar los comportamientos de los modelos mediante el seguimiento de su estado de implementación y de su imparcialidad, calidad y desviación es esencial para escalar la IA.
La evaluación continua de los modelos permite a las empresas comparar las predicciones de los modelos, cuantificar su riesgo y optimizar su rendimiento. Mostrar valores positivos y negativos en los comportamientos del modelo, con datos utilizados para generar explicaciones, acelera las evaluaciones de los modelos. Una plataforma de datos e IA puede generar atribuciones de características para predicciones de modelos y permitir a los equipos investigar visualmente su comportamiento con gráficos interactivos y documentos exportables.
Genere confianza en la IA de producción. Ponga en producción sus modelos de IA con rapidez. Garantice la interpretabilidad y explicabilidad de los modelos de IA. Simplifique el proceso de evaluación de modelos al tiempo que aumenta la transparencia y la trazabilidad del modelo.
Monitorice y gestione sistemáticamente los modelos para optimizar los resultados empresariales. Evalúe y mejore continuamente el rendimiento del modelo. Afine los esfuerzos de desarrollo de modelos basándose en una evaluación continua.
Mantenga sus modelos de IA explicables y transparentes. Gestione los requisitos normativos, de conformidad, de riesgo y demás. Minimice la sobrecarga de la inspección manual y los errores costosos. Mitigue el riesgo de sesgos no deseados.
Para impulsar resultados deseables con IA explicable, tenga en cuenta los siguientes aspectos:
Imparcialidad y eliminación de sesgos: Gestione y monitorice la imparcialidad. Analice su implementación en busca de posibles sesgos.
Mitigación de la desviación de modelos: Analice su modelo y haga recomendaciones basadas en el resultado más lógico. Avise cuando los modelos se desvíen de los resultados previstos.
Gestión del riesgo de los modelos: Cuantifique y mitigue el riesgo de los modelos. Reciba alertas cuando un modelo funcione de manera inadecuada. Comprenda qué es lo que hace que las desviaciones persistan.
Automatización del ciclo de vida: Cree, ejecute y gestione modelos como parte de los servicios integrados de datos e IA. Unifique las herramientas y procesos en una plataforma para monitorizar modelos y compartir resultados. Explique las dependencias de los modelos de machine learning.
Preparado para la multinube: Implemente proyectos de IA en nubes híbridas, incluidas nubes públicas, privadas y locales. Fomente la confianza gracias a la IA explicable.
- Sanidad: Acelerar el diagnóstico, el análisis de imágenes, la optimización de recursos y el diagnóstico médico. Mejorar la transparencia y la trazabilidad en la toma de decisiones para la atención al paciente. Racionalizar el proceso de aprobación farmacéutica con IA explicable.
- Servicios financieros: Mejorar la experiencia del cliente con un proceso transparente de aprobación de préstamos y créditos. Evaluaciones rápidas del riesgo de crédito, de gestión de patrimonios y del riesgo de delitos financieros. Acelerar la resolución de posibles reclamaciones y problemas. Incrementar la confianza en la tarificación, las recomendaciones de productos y los servicios de inversión.
- Justicia penal: Optimizar los procesos de predicción y evaluación de riesgos. Acelerar las resoluciones utilizando IA explicable en análisis de ADN, análisis de la población reclusa y previsión de la delincuencia. Detectar posibles sesgos en los datos y algoritmos de entrenamiento.
El kit de herramientas IBM watsonx.governance para el gobierno de la IA le permite dirigir, gestionar y monitorizar las actividades de IA de su organización, y emplea la automatización de software para reforzar su capacidad de mitigar el riesgo, gestionar los requisitos normativos y abordar las preocupaciones éticas tanto para la IA generativa como para los modelos de machine learning.
Modernizar para automatizar el ciclo de vida de la IA. Agregar gobierno y seguridad a los datos y servicios de IA casi en cualquier lugar.
Crear y ampliar la IA con confianza y transparencia. Cree, ejecute y administre modelos de IA con monitorización constante para una IA explicable.
Controle los datos y los modelos de IA con un catálogo de datos integral respaldado por una gestión activa de metadatos y políticas.
Lea sobre un enfoque de tres pasos para la gobernanza de la IA. Obtenga conocimientos sobre cómo crear sistemas de gobierno capaces de monitorizar la IA ética.
Aprenda a configurar y activar los supervisores de modelos. Utilice un modelo de muestra de riesgo crediticio para seleccionar la implementación y establecer el tipo de datos para el registro de la carga útil.
Forrester Consulting examina el retorno de la inversión previsto para las empresas que implementen IA explicable y monitorización de modelos.
Lufthansa mejora la experiencia del cliente y la eficiencia de las aerolíneas con la automatización del ciclo de vida de la IA y la mitigación de desviaciones y sesgos.
Notas a pie de página
¹ ”Explainable AI” (enlace externo a ibm.com), The Royal Society, 28 de noviembre de 2019.
² ”Explainable Artificial Intelligence” (enlace externo a ibm.com), Jaime Zornoza, 15 de abril de 2020.
³ ”Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI” (enlace externo a ibm.com), ScienceDirect, junio de 2020.
⁴ ”Understanding Explainable AI” (enlace externo a ibm.com), Ron Schmelzer, colaborador de Forbes, 23 de julio de 2019.
⁵ ”Explainable Artificial Intelligence (XAI)” (enlace externo a ibm.com), Dr. Matt Turek, Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU. (DARPA).