¿Qué es la transparencia de la IA?

Los investigadores a veces describen la inteligencia artificial como una "caja negra", ya que aún puede ser difícil explicar, gestionar y regular los resultados de la IA debido a la creciente complejidad de la tecnología. La transparencia de la IA ayuda a abrir esta caja negra para comprender mejor los resultados de la IA y cómo los modelos toman decisiones.

Un número creciente de industrias de alto riesgo (incluidas las finanzas, la atención médica, los recursos humanos (HR) y la aplicación de la ley) dependen de modelos de IA para la toma de decisiones. Mejorar la comprensión de las personas sobre cómo se capacitan estos modelos y cómo determinan los resultados genera confianza en las decisiones de IA y en las organizaciones que los utilizan.

Los creadores de IA pueden lograr una IA transparente y confiable a través de la divulgación.
Pueden documentar y compartir la lógica y el razonamiento del algoritmo de IA subyacente, las entradas de datos empleadas para entrenar el modelo, los métodos empleados para la evaluación y validación del modelo, etc. Esto permite a los stakeholders evaluar la precisión predictiva del modelo frente a la imparcialidad, las desviaciones y los sesgos.

Un alto nivel de transparencia es esencial para una IA responsable. La IA responsable es un conjunto de principios que ayuda a guiar el diseño, desarrollo, implementación y uso de IA. Considera el impacto social más amplio de los sistemas de IA y las medidas que se requieren para alinear estas tecnologías con los valores de las partes interesadas, las normas legales y las consideraciones éticas.

Las aplicaciones de IA como chatbots de IA generativa, agentes virtuales y motores de recomendación son utilizados hoy en día por diez millones de personas en todo el mundo. La transparencia sobre el funcionamiento de estas herramientas de IA probablemente no sea una preocupación para este nivel de toma de decisiones de bajo riesgo: si el modelo resulta inexacto o sesgado, los usuarios podrían perder algo de tiempo o ingresos disponibles.

Sin embargo, cada vez más sectores están adoptando aplicaciones de IA para fundamentar la toma de decisiones de alto riesgo. Por ejemplo, la IA ahora ayuda a las compañías y a los usuarios a tomar decisiones de inversión, diagnósticos médicos, decisiones de contratación, sentencias penales y más. En estos casos, las posibles consecuencias de resultados sesgados o inexactos de la IA son mucho más peligrosas. Las personas pueden perder ahorros de toda la vida, oportunidades profesionales o años de sus vidas.

Para que las partes interesadas confíen en que la IA está tomando decisiones eficaces y justas en su nombre, necesitan visibilidad de cómo funcionan los modelos, la lógica de los algoritmos y cómo se evalúa la precisión y equidad del modelo. También necesitan saber más sobre los datos empleados para capacitar y ajustar el modelo, incluidas las fuentes de datos y cómo se procesan, ponderan y etiquetan los datos.

Además de generar confianza, la transparencia de la IA fomenta el intercambio de conocimientos y la colaboración en todo el ecosistema de IA, contribuyendo a los avances en el desarrollo de IA. Y al ser transparentes de forma predeterminada, las organizaciones pueden centrarse más en el uso de tecnologías de IA para lograr los objetivos del negocio y preocuparse menos por la confiabilidad de la IA.

La red de requisitos normativos que rodean el uso de la IA está en constante evolución. Los procesos de modelos transparentes son críticos para el cumplimiento de estas regulaciones y para atender las solicitudes de validadores de modelos, auditores y reguladores. La Ley de IA de la UE se considera el primer marco regulatorio integral del mundo para la IA.

La Ley de Inteligencia Artificial de la Unión Europea (UE) adopta un enfoque de regulación basado en el riesgo, aplicando diferentes reglas a la IA según el riesgo que plantean. Prohíbe algunos usos de la IA e implementa requisitos estrictos de gobernanza, gestión de riesgos y transparencia para otros. Existen obligaciones de transparencia adicionales para tipos específicos de IA. Por ejemplo:

• Los sistemas de IA destinados a interactuar directamente con las personas deben diseñarse para informar a los usuarios que están interactuando con un sistema de IA, a menos que esto sea obvio para la persona por el contexto. Un chatbot, por ejemplo, debe diseñarse para notificar a los usuarios que es un chatbot.
  
  
• Los sistemas de IA que generan texto, imágenes u otro contenido determinado deben usar formatos legibles por máquina para marcar las resultados como generados o manipulados por IA. Esto incluye, por ejemplo, la IA que genera deepfakes, imágenes o videos que se alteran para mostrar que alguien está haciendo o diciendo algo que no hizo o dijo.

La implementación del Reglamento General de Protección de Datos (RGPD) de la UE llevó a otros países a adoptar regulaciones de privacidad de datos personales. Del mismo modo, los expertos predicen que la Ley de IA de la UE impulsará el desarrollo de normas de gobernanza y ética de la IA en todo el mundo.

La mayoría de los países y regiones aún tienen que promulgar leyes o regulaciones integrales con respecto al uso de la IA; sin embargo, hay varios marcos extensos disponibles. Aunque no siempre se pueden hacer cumplir, existen para guiar la futura regulación y el desarrollo y uso responsable de la IA. Algunos ejemplos notables son:

• Orden ejecutiva de la Casa Blanca sobre el desarrollo y uso seguro, protegido y confiable de la inteligencia artificial: publicada el 30 de octubre de 2023 (y revocada el 20 de enero de 2025), la orden abordó la transparencia en varias secciones. En la Sección 8, se abordó específicamente la protección de los consumidores, pacientes, pasajeros y estudiantes. Instó a las agencias reguladoras independientes a considerar usar su autoridad para proteger a los consumidores estadounidenses de los riesgos de la IA, incluyendo “enfatizar o aclarar los requisitos y expectativas relacionados con la transparencia de los modelos de IA y la capacidad de las entidades reguladas para explicar su uso de los modelos de IA”.¹
  
  
• El Proyecto técnico para una Carta de Derechos de la IA: El Proyecto técnico es un conjunto de cinco principios y prácticas asociadas para ayudar a guiar el diseño, el uso y la implementación de sistemas de IA. El cuarto principio, "Aviso y explicación", aborda directamente la transparencia: "Los diseñadores, desarrolladores e implementadores de sistemas automatizados deben proporcionar documentación en lenguaje sencillo, generalmente accesible, que incluya descripciones claras del funcionamiento general del sistema y el papel que desempeña la automatización. Tenga en cuenta que dichos sistemas son en uso, la persona u organización responsable del sistema y explicaciones de los resultados deben ser claras, oportunas y accesibles”.²
  
  
• Marco político global del Proceso de IA de Hiroshima: publicado en 2023 tras su desarrollo en la Cumbre de Hiroshima del G7, el Proceso de IA de Hiroshima es un conjunto de principios rectores para el desarrollo mundial de sistemas avanzados de IA que promueven una IA segura, confiable y de confianza. El marco pide a las organizaciones que se atengan a 11 principios, varios de los cuales fomentan la "publicación de informes de transparencia" y el "intercambio responsable de información".³

La transparencia de la IA está estrechamente relacionada con los conceptos de explicabilidad e interpretabilidad de la IA. Estos conceptos proporcionan información que ayuda a abordar el problema de la "caja negra" de larga data: el problema práctico y ético de que los sistemas de IA son tan sofisticados que son imposibles de interpretar para los humanos. Sin embargo, tienen definiciones y casos de uso distintos:

• Explicabilidad de la IA: ¿Cómo llegó el modelo a ese resultado?
  
  
• Interpretabilidad de la IA: ¿Cómo toma decisiones el modelo?
  
  
• Transparencia de la IA: ¿cómo se creó el modelo, qué datos lo capacitaron y cómo toma decisiones?

La explicabilidad de la IA, o IA explicable (XAI), es un conjunto de procesos y métodos que permiten a los usuarios humanos comprender y confiar en los resultados y resultados creados por los modelos de machine learning. La explicabilidad del modelo analiza cómo un sistema de IA llega a un resultado específico y ayuda a caracterizar la transparencia del modelo.

La interpretabilidad de la IA se refiere a hacer que el proceso general de la IA sea comprensible para un humano. La interpretabilidad de la IA proporciona información significativa sobre la lógica subyacente, la importancia y las consecuencias anticipadas del sistema de IA. Es la tasa de éxito que los humanos pueden predecir para el resultado de lo producido por la IA, mientras que la explicabilidad va un paso más allá y examina cómo el modelo de IA llegó al resultado.

La transparencia de la IA va más allá de simplemente explicar los procesos de toma de decisiones de la IA. Abarca factores relacionados con el desarrollo de sistemas de IA y su despliegue, como los datos de entrenamiento de la IA y quién tiene acceso a ellos.

Si bien la transparencia de la IA difiere según el caso de uso, la organización y la industria, existen algunas estrategias que las compañías pueden tener en cuenta al crear sistemas de IA. A un alto nivel, estas estrategias incluyen tener principios claros de confianza y transparencia, poner esos principios en práctica e integrarlos en todo el ciclo de vida de la IA.

Una estrategia más específica para la transparencia de la IA es la divulgación exhaustiva en cada etapa del ciclo de vida de la IA. Para proporcionar divulgación, las organizaciones deben determinar qué información compartir y cómo compartirla.

El caso de uso del modelo, la industria, la audiencia y otros factores ayudarán a determinar qué información se debe divulgar. Por ejemplo, los usos de IA de mayor riesgo (como las evaluaciones de hipotecas) probablemente requerirán una divulgación más completa que las aplicaciones de menor riesgo (como la clasificación de audio para asistentes virtuales).

La divulgación puede incluir toda o parte de la siguiente información sobre el modelo:

• Nombre del modelo
• Propósito
• Nivel de riesgo
• Política de modelos
• Generación de modelos
• Dominio previsto
• Datos de formación
• Precisión de la formación y las pruebas
• Sesgo
• Métricas de solidez de los adversarios
• Métricas de equidad
• Métricas de explicabilidad
• Información de contacto

Cada rol en el ciclo de vida de la IA puede aportar información, distribuyendo la responsabilidad en todo el ecosistema en lugar de un individuo. Existen plataformas y herramientas de software disponibles que pueden ayudar a automatizar la recopilación de información y otras actividades de gobernanza de IA.

Las organizaciones pueden presentar información para la transparencia de la IA en varios formatos, como documentos impresos o videos. El formato depende tanto de la audiencia como del caso de uso. ¿La información está destinada a un consumidor y, por lo tanto, debe ser fácilmente digerible? ¿O está destinado a un científico de datos o regulador y, por lo tanto, necesita un alto nivel de detalle técnico?

Los formatos pueden incluir:

• Un documento vivo que se basa en la declaración de conformidad de un proveedor (SDoC), que es un documento empleado en muchas industrias para demostrar que un producto cumple con ciertas normas o reglamentos técnicos
  
  
• Páginas de políticas oficiales en el sitio web de la compañía que detallan cómo la organización está poniendo en marcha iniciativas de IA transparentes
  
  
• Recursos educativos, como documentos y videos, para ayudar a los usuarios a comprender cómo se emplea la IA en productos y servicios, y cómo afecta la experiencia del cliente
  
  
• Discurso público con el punto de vista ético de la IA de la organización a través de actividades oficiales de relaciones públicas, eventos, redes sociales y otras comunicaciones.
  
  
• Documentos de investigación, conjuntos de datos y otras comunicaciones basadas en datos para ofrecer insights sobre el uso, el desarrollo y los beneficios de la IA dentro de la industria o los casos de uso de la organización.

Las prácticas de IA transparentes tienen muchos beneficios, pero también plantean problemas de seguridad y privacidad. Por ejemplo, cuanta más información se proporcione sobre el funcionamiento interno de un proyecto de IA, más fácil será para los piratas informáticos encontrar y explotar vulnerabilidades. OpenAI abordó este desafío en su Reporte Técnico GPT-4, afirmando:

“Teniendo en cuenta tanto el panorama competitivo como las participaciones de seguridad de los modelos a gran escala como GPT-4, este reporte no contiene más detalles sobre la arquitectura (incluido el tamaño del modelo), el hardware, el cálculo de entrenamiento, la construcción del conjunto de datos, el método de entrenamiento o similares”.⁴

La cita también revela otro desafío de transparencia de la IA: el equilibrio entre transparencia y protección de la propiedad intelectual. Otros obstáculos podrían incluir explicar claramente los programas intrincados y complejos y los algoritmos de aprendizaje automático (como neural networks) a los no expertos y la falta de estándares de transparencia a nivel mundial para la IA.