¿Qué es el gobierno de la IA?

Un gobierno de la IA eficaz incluye mecanismos de supervisión que abordan los riesgos como el sesgo, la violación de la privacidad y el uso indebido, mientras fomenta la innovación y construye la confianza. Un enfoque centrado en la IA ética para el gobierno de la IA requiere la intervención de una amplia gama de stakeholders, incluidos los desarrolladores de IA, los usuarios, los responsables políticos y los especialistas en ética, para garantizar que los sistemas relacionados con la IA se desarrollen y utilicen de forma que se ajusten a los valores de la sociedad.

El gobierno de la IA aborda los defectos inherentes derivados del elemento humano en la creación y el mantenimiento de la IA. Dado que la IA es un producto de código de alta ingeniería y machine learning (ML) creado por personas, es susceptible a sesgos y errores humanos que pueden dar lugar a discriminación y otros daños a las personas.

El gobierno proporciona un enfoque estructurado para mitigar estos riesgos potenciales. Este enfoque puede incluir políticas, regulaciones y gobierno del dato sólidas en materia de IA. Estos ayudan a garantizar que los algoritmos de machine learning se supervisen, evalúen y actualicen para evitar decisiones defectuosas o perjudiciales, y que los conjuntos de datos estén bien entrenados y mantenidos.

El gobierno también tiene como objetivo establecer la supervisión necesaria para alinear los comportamientos de la IA con las normas éticas y las expectativas de la sociedad, con el fin de protegerse contra posibles impactos adversos.

El gobierno de la IA es esencial para alcanzar un estado de cumplimiento, confianza y eficiencia en el desarrollo y la aplicación de tecnologías de IA. Con la creciente integración de la IA en las operaciones organizativas y gubernamentales, su potencial de impacto negativo se ha vuelto más visible.

Los errores de alto perfil, como el incidente del chatbot Tay, donde un chatbot de IA aprendió un comportamiento tóxico de las interacciones públicas en las redes sociales, y las decisiones sesgadas de las sentencias del software COMPAS, han puesto de manifiesto la necesidad de un gobierno sólido para prevenir daños y mantener la confianza pública.

Estos casos demuestran que la IA puede causar importantes daños sociales y éticos sin una supervisión adecuada, lo que pone de relieve la importancia de la gobernanza en la gestión de los riesgos asociados a la IA avanzada. Al proporcionar directrices y marcos, el gobierno de la IA tiene como objetivo equilibrar la innovación con la seguridad, lo que ayuda a garantizar que los sistemas de IA no violen la dignidad humana o los derechos.

La transparencia en la toma de decisiones y la explicabilidad también son críticas para garantizar que los sistemas de IA se utilizan de forma responsable y para generar confianza. Los sistemas de IA toman decisiones todo el tiempo, desde decidir qué anuncios mostrar hasta determinar si se aprueba un préstamo. Es esencial comprender cómo toman decisiones los sistemas de IA para hacerles responsables de sus decisiones y ayudar a garantizar que las tomen de manera justa y ética.

Además, el gobierno de la IA no sólo consiste en ayudar a garantizar el cumplimiento en una sola ocasión; también consiste en mantener los estándares éticos a lo largo del tiempo. Los modelos de IA pueden desviarse, lo que lleva a cambios en la calidad y confiabilidad de la salida. Las tendencias actuales en materia de gobierno van más allá del mero cumplimiento legal para garantizar la responsabilidad social de la IA, salvaguardando así contra los daños financieros, legales y de reputación, al mismo tiempo que promueven el crecimiento responsable de la tecnología.

Los ejemplos de gobierno de la IA incluyen una variedad de políticas, marcos y prácticas que las organizaciones y los gobiernos implementan para ayudar a garantizar el uso responsable de las tecnologías de la IA. Estos ejemplos demuestran cómo se produce el gobierno de la IA en diferentes contextos:

El Reglamento General de Protección de Datos (RGPD): el RGPD es un ejemplo de gobierno de la IA, especialmente en el contexto de la protección de los datos personales y la privacidad. Aunque el RGPD no se centra exclusivamente en la IA, muchas de sus disposiciones son muy relevantes para los sistemas de IA, especialmente para aquellos que procesan datos personales de individuos dentro de la Unión Europea.

La Organización para la Cooperación y el Desarrollo Económicos (OCDE): los principios de IA de la OCDE, adoptados por más de 40 países, destacan una gestión responsable de la IA fiable, que incluye la transparencia, la equidad y la responsabilidad en los sistemas de IA.

Comités de ética de IA corporativos: muchas empresas han creado comités de ética o juntas para supervisar las iniciativas de IA, garantizando que se alineen con los estándares éticos y los valores sociales. Por ejemplo, desde 2019, el Consejo de Ética de IA de IBM ha revisado los nuevos productos y servicios de IA para asegurarse de que se alinean con los principios de IA de IBM. Estas juntas a menudo incluyen equipos interfuncionales con formación jurídica, técnica y de política.  

En una organización de nivel empresarial, el director general y los altos directivos son los responsables finales de garantizar que su organización aplique una sólida gobierno de la IA a lo largo de todo el ciclo de vida de la IA. Los asesores jurídicos y generales son fundamentales a la hora de evaluar y mitigar los riesgos legales, garantizando que las aplicaciones de la IA cumplen las leyes y normativas pertinentes. 

Los equipos de auditoría son esenciales para validar la integridad de los datos de los sistemas de IA y confirmar que los sistemas funcionan según lo previsto sin introducir errores ni sesgos. El director financiero supervisa las implicaciones financieras, gestionando los costes asociados a las iniciativas de IA y mitigando cualquier riesgo financiero. 

Sin embargo, la responsabilidad del gobierno de la IA no recae en un único individuo o departamento; es una responsabilidad colectiva en la que cada líder debe priorizar la responsabilidad y ayudar a garantizar que los sistemas de IA se utilicen de forma responsable y ética en toda la organización.

El director general y los altos directivos son responsables de establecer el tono general y la cultura de la organización. Cuando se da prioridad a la gobernanza responsable de la IA, se envía a todos los empleados un mensaje claro de que todos deben utilizar la IA de forma responsable y ética. El director general y los altos directivos también pueden invertir en la formación de los empleados en materia de gobierno de la IA, desarrollar activamente políticas y procedimientos internos y crear una cultura de comunicación abierta y colaboración.

el gobierno de la IA es esencial para gestionar los rápidos avances de la tecnología de la IA, especialmente con la aparición de la IA generativa. La IA generativa, que incluye tecnologías capaces de crear nuevos contenidos y soluciones, como texto, imágenes y código, tiene un enorme potencial en muchos casos prácticos.

Desde la mejora de los procesos creativos en el diseño y los medios de comunicación hasta la automatización de tareas en el desarrollo de software, la IA generativa está transformando el funcionamiento de las industrias. Sin embargo, su amplia aplicabilidad conlleva la necesidad de una sólida gobierno de la IA.

Los principios de gobierno de la IA responsable son esenciales para que las organizaciones se protejan a sí mismas y a sus clientes. Estos principios pueden guiar a las organizaciones en el desarrollo y la aplicación éticos de las tecnologías de IA, que incluyen:

• Empatía: las organizaciones deben comprender las implicaciones sociales de la IA, no solo los aspectos tecnológicos y financieros. Deben prever y abordar el impacto de la IA en todas los stakeholders.
  
  
• Control de sesgos: es esencial examinar rigurosamente los datos de entrenamiento para evitar incorporar sesgos del mundo real en los algoritmos de IA, lo que ayuda a garantizar procesos de toma de decisiones justos y imparciales.
  
  
• Transparencia: debe haber claridad y apertura en la forma en que los algoritmos de la IA operan y toman decisiones, con organizaciones dispuestas a explicar la lógica y el razonamiento detrás de los resultados impulsados por la IA.
  
  
• Responsabilidad: las organizaciones deben establecer y adherirse proactivamente a normas estrictas para gestionar los cambios significativos que la IA puede traer consigo, manteniendo la responsabilidad por los impactos de la IA.

A fines de 2023, la Casa Blanca emitió una orden ejecutiva para ayudar a garantizar la seguridad de la IA. Esta estrategia global proporciona un marco para establecer nuevas normas que permitan gestionar los riesgos inherentes a la tecnología de la IA. Las nuevas normas de seguridad y protección de la IA del gobierno de EE. UU. ejemplifican la forma en que los gobiernos abordan este tema tan delicado.

• Seguridad y protección de la IA: exige a los desarrolladores de sistemas de IA potentes que compartan los resultados de las pruebas de seguridad y la información crítica con el gobierno de EE. UU. Requiere el desarrollo de estándares, herramientas y pruebas para ayudar a garantizar que los sistemas de IA sean seguros y confiables.
  
  
• Protección de la privacidad: prioriza el desarrollo y el uso de técnicas de preservación de la privacidad y refuerza la investigación y las tecnologías de preservación de la privacidad. También establece directrices para que las agencias federales evalúen la eficacia de las técnicas de preservación de la privacidad.
  
  
• Equidad y derechos civiles: evita que la IA exacerbe la discriminación y los sesgos en diversos sectores. Esto incluye orientar a los propietarios y los programas federales, abordar la discriminación algorítmica y ayudar a garantizar la equidad en el sistema de justicia penal​.
  
  
• Protección de los consumidores, los pacientes y los estudiantes: ayuda a promover la IA responsable en la sanidad y la educación, como el desarrollo de medicamentos que salvan vidas y el apoyo a las herramientas educativas basadas en la IA.
  
  
• Apoyo a los trabajadores: desarrolla principios para mitigar los efectos nocivos de la IA en los empleos y lugares de trabajo, incluyendo el tratamiento del desplazamiento de puestos de trabajo y la equidad en el lugar de trabajo​.
  
  
• Fomento de la innovación y la competencia: cataliza la investigación de la IA en los EE. UU., fomenta un ecosistema de IA justo y competitivo y facilita la entrada de profesionales de la IA cualificados en los EE. UU.​
  
  
• Liderazgo mundial en IA: amplía la colaboración internacional en materia de IA y promueve el desarrollo y la aplicación de normas vitales para la IA con socios internacionales​.
  
  
• Uso del gobierno de la IA: ayuda a garantizar una implementación gubernamental responsable de la IA al publicar directrices sobre el uso de la IA por parte de las agencias, mejorar la adquisición de la IA y acelerar la contratación de profesionales de la IA.

Aunque las normativas y las fuerzas del mercado estandarizan muchas métricas de gobierno, las organizaciones aún deben determinar cómo equilibrar mejor las medidas para su negocio. La medición de la eficacia de el gobierno de la IA puede variar según la organización; cada organización debe decidir qué áreas de atención debe priorizar. Con áreas de interés como la calidad de los datos, la seguridad de los modelos, el análisis coste-valor, la monitorización de sesgos, la responsabilidad individual, la auditoría continua y la adaptabilidad para ajustarse en función del ámbito de la organización, no es una decisión única.

El gobierno de la IA no tiene "niveles" universalmente estandarizados del modo en que, por ejemplo, la ciberseguridad podría tener niveles definidos de respuesta a las amenazas. En su lugar, el gobierno de la IA cuenta con enfoques y marcos estructurados desarrollados por diversas entidades que las organizaciones pueden adoptar o adaptar a sus necesidades específicas.

Las organizaciones pueden utilizar varios marcos y directrices para desarrollar sus prácticas de gobernanza. Algunos de los marcos más utilizados son el Marco de Gestión de Riesgos de la IA del NIST, los Principios de la OCDE sobre Inteligencia Artificial y las Directrices éticas de la Comisión Europea para una IA fiable. Estos marcos proporcionan orientación para una serie de temas, como la transparencia, la responsabilidad, la equidad, la privacidad, la seguridad y la protección.

Los niveles de gobernanza pueden variar en función del tamaño de la organización, la complejidad de los sistemas de IA en uso y el entorno normativo en el que opera la organización.

Una visión general de estos enfoques:

El concepto de gobierno de la IA resulta cada vez más vital a medida que la automatización, impulsada por la IA, se impone en sectores que van desde la sanidad y las finanzas hasta el transporte y los servicios públicos. Las capacidades de automatización de la IA pueden mejorar significativamente la eficiencia, la toma de decisiones y la innovación, pero también introducen retos relacionados con la responsabilidad, la transparencia y las consideraciones éticas.

el gobierno de la IA implica establecer estructuras de control sólidas que contengan políticas, directrices y marcos para abordar estos retos. Implica establecer mecanismos para supervisar y evaluar continuamente los sistemas de IA, asegurándose de que cumplen las normas éticas establecidas y las regulaciones legales.

Las estructuras de gobernanza eficaces en la IA son multidisciplinares e implican a las partes interesadas de diversos campos, como la tecnología, el derecho, la ética y los negocios. A medida que los sistemas de IA se vuelven más sofisticados y se integran en aspectos críticos de la sociedad, el papel de el gobierno de la IA a la hora de guiar y dar forma a la trayectoria del desarrollo de la IA y a su impacto en la sociedad se vuelve cada vez más crucial.

Las mejores prácticas de gobierno de la IA implican un enfoque que va más allá del mero cumplimiento para abarcar un sistema más sólido de supervisión y gestión de las aplicaciones de IA. Para los negocios de nivel empresarial, la solución de gobierno de la IA debe permitir una amplia supervisión y control de los sistemas de IA. He aquí un ejemplo de hoja de ruta a tener en cuenta:

1. Panel de control visual: use un panel de control que proporcione actualizaciones en tiempo real sobre la salud y el estado de los sistemas de IA, y que ofrezca una visión clara para realizar evaluaciones rápidas.
    

2. Métricas de puntuación de salud: implemente una puntuación de salud general para los modelos de IA utilizando métricas intuitivas y fáciles de entender para simplificar la supervisión.
    

3. Monitorización automatizada: emplee sistemas de detección automática de sesgos, desviaciones, rendimiento y anomalías para ayudar a garantizar que los modelos funcionen correcta y éticamente.
    

4. Alertas de rendimiento: establezca alertas para cuando un modelo se desvíe de sus parámetros de rendimiento predefinidos, lo que permitirá intervenir a tiempo.
    

5. Métricas personalizadas: defina métricas personalizadas que se alineen con los indicadores clave de rendimiento (KPI) y los umbrales de la organización para ayudar a garantizar que los resultados de la IA contribuyan a los objetivos empresariales.
    

6. Registros de auditoría: mantenga registros y pistas de auditoría de fácil acceso para la rendición de cuentas y para facilitar la revisión de las decisiones y comportamientos de los sistemas de IA.
    

7. Compatibilidad con herramientas de código abierto: elija herramientas de código abierto compatibles con varias plataformas de desarrollo de machine learning para beneficiarse de la flexibilidad y el soporte de la comunidad.
    

8. Integración fluida: ayuda a garantizar que la plataforma de gobierno de la IA se integre de manera fluida con la infraestructura existente, incluidos los ecosistemas y las bases de datos, para evitar los silos y permitir flujos de trabajo eficientes.
    

Al seguir estas prácticas, las organizaciones pueden establecer un marco sólido de gobierno de la IA que apoye el desarrollo, la implementación y la gestión de la IA responsable, ayudando a garantizar que los sistemas de IA sean cumplidores y se alineen con las normas éticas y los objetivos de la organización.

Varios países han adoptado prácticas de gobierno y reglamentos de IA para evitar los prejuicios y la discriminación. Es importante recordar que la regulación siempre está cambiando y las organizaciones que gestionan sistemas de IA complejos deben vigilar de cerca la evolución de los marcos legales regionales.

La Ley de Inteligencia Artificial de la Unión Europea, también conocida como Ley de IA de la UE o Ley de IA, es una ley que rige el desarrollo o el uso de la inteligencia artificial (IA) en la Unión Europea (UE). La ley adopta un enfoque de la regulación basado en el riesgo y aplica normas diferentes a las IA en función del riesgo que planteen.

Considerada el primer marco regulatorio integral del mundo para la IA, la Ley de IA de la UE prohíbe por completo algunos usos de la IA e implementa estrictos requisitos de gobierno, gestión de riesgos y transparencia para otros.

La ley también crea reglas para modelos de inteligencia artificial de propósito general, como el modelo fundacional de código abierto IBM Granite y Llama 3 de Meta. Las sanciones pueden oscilar entre 7,5 millones de EUR o el 1,5 % de la facturación anual mundial y 35 millones de EUR o el 7 % de la facturación anual mundial, según el tipo de incumplimiento.

El SR-11-7 es el estándar de gobierno del modelo regulatorio de EE. UU. para un modelo de gobierno efectivo y sólido en la banca¹.La normativa exige que los responsables de los bancos apliquen iniciativas de gestión del riesgo de los modelos en toda la empresa y mantengan un inventario de los modelos implementados para su uso, en desarrollo para su implementación o recientemente retirados.

Los líderes de las instituciones también deben demostrar que sus modelos están logrando el propósito empresarial que tenían previsto y que están actualizados y no se han desviado. El desarrollo y la validación de un modelo deben permitir que cualquier persona que no esté familiarizada con él comprenda su funcionamiento, sus limitaciones y sus supuestos clave.

La Directiva de Canadá sobre toma de decisiones automatizada describe cómo el gobierno de ese país utiliza la IA para orientar las decisiones en varios departamentos². La directiva utiliza un sistema de puntuación para evaluar la intervención humana, la revisión por pares, la monitorización y la planificación de contingencias necesarias para una herramienta de IA creada para servir a los ciudadanos.

Las organizaciones que creen soluciones de IA con una puntuación alta deben llevar a cabo dos revisiones por pares independientes, ofrecer un aviso público en un lenguaje sencillo, desarrollar un mecanismo de seguridad contra la intervención humana y establecer cursos de formación recurrentes para el sistema. Dado que la Directiva de Canadá sobre toma de decisiones automatizada es una guía para el propio desarrollo de IA en el país, la regulación no afecta directamente a las empresas como lo hace la SR-11-7 en los EE. UU.

En abril de 2021, la Comisión Europea presentó su paquete sobre IA, que incluía declaraciones sobre el fomento de un enfoque europeo de la excelencia, la confianza y una propuesta de marco jurídico sobre IA³.

Las declaraciones establecen que, aunque la mayoría de los sistemas de IA entran en la categoría de "riesgo mínimo", los sistemas de IA identificados como de "alto riesgo" deberán cumplir con requisitos más estrictos y los sistemas considerados de "riesgo inaceptable" estarán prohibidos. Las organizaciones deben prestar mucha atención a estas normas o se arriesgan a recibir sanciones.

En 2023, China emitió sus medidas provisionales para la Administración de Servicios de Inteligencia Artificial Generativa. Según la ley, la prestación y el uso de servicios de IA generativa deben "respetar los derechos e intereses legítimos de los demás" y deben "no poner en peligro la salud física y mental de los demás, y no infringir los derechos de imagen, los derechos de reputación, los derechos de honor, los derechos de privacidad y los derechos de información personal de los demás".

Otros países de la región Asia-Pacífico han publicado varios principios y directrices para gobernar la IA. En 2019, el gobierno de Singapur publicó un marco con pautas para abordar cuestiones de ética de IA en el sector privado y, más recientemente, en mayo de 2024, publicó un marco de gobierno para IA generativa. India, Japón, Corea del Sur y Tailandia también están explorando directrices y legislación para el gobierno de la IA³.