Publicado: 28 de noviembre de 2023
Colaboradores: Tim Mucci, Cole Stryker
La gobernanza de la inteligencia artificial (IA) se refiere a las barreras que garantizan que las herramientas y los sistemas de IA son y siguen siendo seguros y éticos. Establece los marcos, reglas y normas que dirigen la investigación, el desarrollo y la aplicación de la IA para garantizar la seguridad, la equidad y el respeto de los derechos humanos.
La gobernanza de la IA engloba mecanismos de supervisión que abordan riesgos como la parcialidad, la violación de la privacidad y el uso indebido, al tiempo que fomentan la innovación y la confianza. Un enfoque centrado en la IA ética para la gobernanza de la IA requiere la intervención de una amplia gama de partes interesadas, incluidos los desarrolladores de IA, los usuarios, los responsables políticos y los especialistas en ética, para garantizar que los sistemas relacionados con la IA se desarrollen y utilicen de forma que se ajusten a los valores de la sociedad.
La gobernanza de la IA aborda los defectos inherentes derivados del elemento humano en la creación y el mantenimiento de la IA. Dado que la IA es un producto de código de alta ingeniería y aprendizaje automático creado por personas, es susceptible de sesgos y errores humanos. La gobernanza proporciona un enfoque estructurado para mitigar estos riesgos, garantizando que se supervisan, evalúan y actualizan los algoritmos de aprendizaje automático para evitar decisiones erróneas o perjudiciales.
Las soluciones de IA deben desarrollarse y utilizarse de forma responsable y ética. Eso significa abordar los riesgos asociados a la IA: los prejuicios, la discriminación y el daño a las personas. La gobernanza aborda estos riesgos mediante una política de IA sólida, la regulación, la gobernanza de los datos y conjuntos de datos bien entrenados y conservados.
La gobernanza pretende establecer la supervisión necesaria para alinear los comportamientos de la IA con las normas éticas y las expectativas de la sociedad y para protegerse de posibles impactos adversos.
Descubra cómo watsonx.governance refuerza su capacidad para mitigar el riesgo, gestionar los requisitos normativos y abordar las preocupaciones éticas.
Gobernanza de la IA: cómo asegurarse de que su IA es transparente, acorde a la normativa y fiable
Gobernanza de la IA de IBM: automatice la gobernanza para ofrecer una IA responsable, transparente y explicable
La gobernanza de la IA es esencial para alcanzar un estado de cumplimiento, confianza y eficiencia en el desarrollo y la aplicación de las tecnologías de IA. Con la creciente integración de la IA en las operaciones organizativas y gubernamentales, su potencial de impacto negativo se ha hecho más visible. Errores de gran repercusión, como el incidente del chatbot Tay (enlace externo a ibm.com), en el que un chatbot de IA de Microsoft aprendió comportamientos tóxicos a partir de interacciones públicas en las redes sociales, y las decisiones sesgadas sobre sentencias del software COMPAS (enlace externo a ibm.com) han puesto de manifiesto la necesidad de una gobernanza sólida para evitar perjuicios y preservar la confianza pública.
Estos casos demuestran que la IA puede causar importantes daños sociales y éticos sin una supervisión adecuada, lo que pone de relieve la importancia de la gobernanza en la gestión de los riesgos asociados a la IA avanzada. Al proporcionar directrices y marcos, la gobernanza de la IA pretende equilibrar la innovación tecnológica con la seguridad, garantizando que los sistemas de IA no violen la dignidad o los derechos humanos.
La transparencia en la toma de decisiones y la posibilidad de explicarlas son fundamentales para garantizar que los sistemas de IA se utilicen de forma responsable. Los sistemas de IA toman decisiones todo el tiempo, desde decidir qué anuncios mostrar hasta determinar si se aprueba un préstamo. Es esencial comprender cómo toman decisiones los sistemas de IA para hacerles responsables de sus decisiones y garantizar que las toman de forma justa y ética.
Además, la gobernanza de la IA no consiste solo en garantizar el cumplimiento una sola vez, sino también en mantener las normas éticas a lo largo del tiempo.Los modelos de IA pueden desviarse, lo que provoca cambios en la calidad y la fiabilidad de la producción. Las tendencias actuales en materia de gobernanza van más allá del mero cumplimiento legal para garantizar la responsabilidad social de la IA, salvaguardando así contra los daños financieros, legales y de reputación, al tiempo que promueven el crecimiento responsable de la tecnología.
Los ejemplos de gobernanza de la IA abarcan una serie de políticas, marcos y prácticas que las organizaciones y los gobiernos aplican para garantizar el uso responsable de las tecnologías de IA. Estos ejemplos demuestran cómo se produce la gobernanza de la IA en diferentes contextos:
El Reglamento General de Protección de Datos (RGPD): un ejemplo de gobernanza de la IA, especialmente en el contexto de la protección de datos personales y la privacidad. Aunque el RGPD no se centra exclusivamente en la IA, muchas de sus disposiciones son muy relevantes para los sistemas de IA, especialmente para aquellos que procesan datos personales de individuos dentro de la Unión Europea.
La Organización para la Cooperación y el Desarrollo Económicos (OCDE): los principios de la IA, adoptados por más de 40 países, hacen hincapié en la gestión responsable de una IA fiable, incluyendo la transparencia, la equidad y la responsabilidad en los sistemas de IA.
Juntas de ética de IA corporativas: muchas empresas han creado juntas o comités de ética para supervisar las iniciativas de IA, asegurándose de que se ajustan a las normas éticas y a los valores de la sociedad. Por ejemplo, IBM ha puesto en marcha un Consejo de Ética de la IA para revisar los nuevos productos y servicios de IA y garantizar que se ajustan a los principios de la IA de IBM. Estas juntas a menudo incluyen equipos interfuncionales con formación jurídica, técnica y política.
En una organización de nivel empresarial, el director general y los altos directivos son los responsables finales de garantizar que su organización aplique una sólida gobernanza de la IA a lo largo de todo el ciclo de vida de la IA. Los asesores jurídicos y generales son fundamentales a la hora de evaluar y mitigar los riesgos legales, garantizando que las aplicaciones de la IA cumplen las leyes y normativas pertinentes. Los equipos de auditoría son esenciales para validar la integridad de los datos de los sistemas de IA y confirmar que los sistemas funcionan según lo previsto sin introducir errores ni sesgos. El director financiero supervisa las implicaciones financieras, gestionando los costes asociados a las iniciativas de IA y mitigando cualquier riesgo financiero.
Sin embargo, la responsabilidad de la gobernanza de la IA no recae en un único individuo o departamento; es una responsabilidad colectiva en la que cada líder debe priorizar la responsabilidad y garantizar que los sistemas de IA se utilizan de forma responsable y ética en toda la organización. El director general y los altos directivos son responsables de establecer el tono general y la cultura de la organización. Cuando se da prioridad a la gobernanza responsable de la IA, se envía a todos los empleados un mensaje claro de que todos deben utilizar la IA de forma responsable y ética. El director general y los altos directivos también pueden invertir en la formación de los empleados en materia de gobernanza de la IA, desarrollar activamente políticas y procedimientos internos y crear una cultura de comunicación abierta y colaboración.
La gobernanza de la IA es esencial para gestionar los rápidos avances de la tecnología de la IA, especialmente con la aparición de la IA generativa. La IA generativa, que incluye tecnologías capaces de crear nuevos contenidos y soluciones, como texto, imágenes y código, tiene un enorme potencial en muchos casos prácticos. Desde la mejora de los procesos creativos en el diseño y los medios de comunicación hasta la automatización de tareas en el desarrollo de software, la IA generativa está transformando el funcionamiento de las industrias. Sin embargo, su amplia aplicabilidad conlleva la necesidad de una sólida gobernanza de la IA.
Los principios de la gobernanza responsable de la IA son esenciales para que las organizaciones se protejan a sí mismas y a sus clientes. Los siguientes principios pueden guiar a las organizaciones en el desarrollo y la aplicación éticos de las tecnologías de IA, entre los que se incluyen:
Empatía: las organizaciones deben comprender las implicaciones sociales de la IA, no solo los aspectos tecnológicos y financieros. Deben prever y abordar el impacto de la IA en todas las partes interesadas.
Control de sesgos: es esencial examinar rigurosamente los datos de entrenamiento para evitar la incorporación de sesgos del mundo real en los algoritmos de la IA, con el fin de garantizar decisiones justas e imparciales.
Transparencia: debe haber claridad y apertura en la forma en que los algoritmos de la IA operan y toman decisiones, con organizaciones dispuestas a explicar la lógica y el razonamiento detrás de los resultados impulsados por la IA.
Responsabilidad: las organizaciones deben establecer y adherirse proactivamente a normas estrictas para gestionar los cambios significativos que la IA puede traer consigo, manteniendo la responsabilidad por los impactos de la IA.
A finales de 2023, la Casa Blanca emitió una orden ejecutiva para garantizar la seguridad de la IA. Esta estrategia global proporciona un marco para establecer nuevas normas que permitan gestionar los riesgos inherentes a la tecnología de la IA. Las nuevas normas de seguridad y protección de la IA del gobierno estadounidense ejemplifican la forma en que los gobiernos abordan esta cuestión tan delicada.
Seguridad y protección de la IA: obliga a los desarrolladores de potentes sistemas de IA a compartir los resultados de las pruebas de seguridad y la información crítica con el gobierno estadounidense. Requiere el desarrollo de normas, herramientas y pruebas para garantizar que los sistemas de IA son seguros y fiables.
Protección de la privacidad: prioriza el desarrollo y el uso de técnicas de preservación de la privacidad y refuerza la investigación y las tecnologías de preservación de la privacidad. También establece directrices para que las agencias federales evalúen la eficacia de las técnicas de preservación de la privacidad.
Equidad y derechos civiles: evita que la IA exacerbe la discriminación y los sesgos en diversos sectores. Incluye orientar a los propietarios y los programas federales, aborda la discriminación algorítmica y garantiza la equidad en el sistema de justicia penal.
Protección de consumidores, pacientes y estudiantes: ayuda al avance de la IA responsable en la sanidad y la educación, como el desarrollo de medicamentos que salvan vidas y el apoyo a herramientas educativas basadas en la IA.
Apoyo a los trabajadores: desarrolla principios para mitigar los efectos nocivos de la IA en los empleos y lugares de trabajo, incluyendo el tratamiento del desplazamiento de puestos de trabajo y la equidad en el lugar de trabajo.
Promover la innovación y la competencia: cataliza la investigación en IA en todo EE. UU., fomenta un ecosistema de IA justo y competitivo y facilita la entrada de profesionales cualificados en IA en EE. UU.
Liderazgo mundial en IA: amplía la colaboración internacional en materia de IA y promueve el desarrollo y la aplicación de normas vitales para la IA con socios internacionales.
Uso gubernamental de la IA: garantiza la implementación responsable de la IA por parte del gobierno mediante la publicación de directrices para el uso de la IA por parte de las agencias, la mejora de las adquisiciones de IA y la aceleración de la contratación de profesionales de la IA.
Aunque las normativas y las fuerzas del mercado estandarizan muchas métricas de gobernanza, las organizaciones aún deben determinar cómo equilibrar mejor las medidas para su negocio. La medición de la eficacia de la gobernanza de la IA puede variar según la organización; cada organización debe decidir qué áreas de atención debe priorizar. Con áreas de enfoque como la calidad de los datos, la seguridad de los modelos, el análisis coste-valor, la supervisión de los sesgos, la responsabilidad individual, la auditoría continua y la adaptabilidad para ajustarse en función del dominio de la organización, no es una decisión de talla única. Cataliza la investigación en IA en EE. UU., fomenta un ecosistema de IA justo y competitivo y facilita la entrada de profesionales cualificados en IA en EE. UU.
La gobernanza de la IA no tiene "niveles" universalmente estandarizados del modo en que, por ejemplo, la ciberseguridad podría tener niveles definidos de respuesta a las amenazas. En su lugar, la gobernanza de la IA cuenta con enfoques y marcos estructurados desarrollados por diversas entidades que las organizaciones pueden adoptar o adaptar a sus necesidades específicas.
Las organizaciones pueden utilizar varios marcos y directrices para desarrollar sus prácticas de gobernanza. Algunos de los marcos más utilizados son el Marco de Gestión de Riesgos de la IA del NIST, los Principios de la OCDE sobre Inteligencia Artificial y las Directrices éticas de la Comisión Europea para una IA fiable. Estos marcos proporcionan orientación para una serie de temas, como la transparencia, la responsabilidad, la equidad, la privacidad, la seguridad y la protección.
Los niveles de gobernanza pueden variar en función del tamaño de la organización, la complejidad de los sistemas de IA en uso y el entorno normativo en el que opera la organización.
Una visión general de estos enfoques:
Se trata del enfoque menos intensivo de la gobernanza basada en los valores y principios de la organización. Puede haber algunos procesos informales, como juntas de revisión ética o comités internos, pero no existe una estructura o marco formal para la gobernanza de la IA.
Se trata de un paso más allá de la gobernanza informal e implica el desarrollo de políticas y procedimientos específicos para el desarrollo y el uso de la IA. Este tipo de gobernanza suele desarrollarse en respuesta a retos o riesgos específicos y puede no ser exhaustiva ni sistemática.
Este es el nivel más alto de gobernanza e implica el desarrollo de un marco integral de gobernanza de la IA. Este marco refleja los valores y principios de la organización y se alinea con las leyes y reglamentos pertinentes. Los marcos de gobernanza formal suelen incluir procesos de evaluación de riesgos, revisión ética y supervisión.
El concepto de gobernanza de la IA resulta cada vez más vital a medida que la automatización, impulsada por la IA, se impone en sectores que van desde la sanidad y las finanzas hasta el transporte y los servicios públicos. Las capacidades de automatización de la IA pueden mejorar significativamente la eficiencia, la toma de decisiones y la innovación, pero también introducen retos relacionados con la responsabilidad, la transparencia y las consideraciones éticas.
La gobernanza de la IA implica establecer estructuras de control sólidas que contengan políticas, directrices y marcos para abordar estos retos. Implica establecer mecanismos para supervisar y evaluar continuamente los sistemas de IA, asegurándose de que cumplen las normas éticas establecidas y las regulaciones legales.
Las estructuras de gobernanza eficaces en la IA son multidisciplinares e implican a las partes interesadas de diversos campos, como la tecnología, el derecho, la ética y los negocios. A medida que los sistemas de IA se vuelven más sofisticados y se integran en aspectos críticos de la sociedad, el papel de la gobernanza de la IA a la hora de guiar y dar forma a la trayectoria del desarrollo de la IA y a su impacto en la sociedad se vuelve cada vez más crucial.
Las mejores prácticas de gobernanza de la IA implican un enfoque que va más allá del mero cumplimiento para abarcar un sistema más sólido de supervisión y gestión de las aplicaciones de IA. Para los negocios de nivel empresarial, la solución de gobernanza de la IA debe permitir una amplia supervisión y control de los sistemas de IA. He aquí un ejemplo de hoja de ruta a tener en cuenta:
Panel de control visual: utilice un panel de control que proporcione actualizaciones en tiempo real sobre la salud y el estado de los sistemas de IA, y que ofrezca una visión clara para realizar evaluaciones rápidas.
Métricas de puntuación de salud: implemente una puntuación de salud general para los modelos de IA utilizando métricas intuitivas y fáciles de entender para simplificar la supervisión.
Monitorización automatizada: emplee sistemas de detección automática de sesgos, desviaciones, resultados y anomalías para garantizar que los modelos funcionan de forma correcta y ética.
Alertas de rendimiento: establezca alertas para cuando un modelo se desvíe de sus parámetros de rendimiento predefinidos, lo que permitirá intervenir a tiempo.
Métricas personalizadas: defina métricas personalizadas que se alineen con los indicadores clave de rendimiento (KPI) y los umbrales de la organización para garantizar que los resultados de la IA contribuyen a los objetivos empresariales.
Registros de auditoría: mantenga registros y pistas de auditoría de fácil acceso para la rendición de cuentas y para facilitar la revisión de las decisiones y comportamientos de los sistemas de IA.
Compatibilidad con herramientas de código abierto: elija herramientas de código abierto compatibles con varias plataformas de desarrollo de aprendizaje automático para beneficiarse de la flexibilidad y el soporte de la comunidad.
Integración sin fisuras: asegúrese de que la plataforma de gobernanza de la IA se integra a la perfección con la infraestructura existente, incluidos las bases de datos y los ecosistemas de software, para evitar silos y posibilitar flujos de trabajo eficientes.
Al adherirse a estas prácticas, las organizaciones pueden establecer un sólido marco de gobernanza de la IA que respalde el desarrollo, la implementación y la gestión responsables de la IA, garantizando que los sistemas de IA cumplen las normas y están alineados con los estándares éticos y los objetivos de la organización.
Varios países han adoptado prácticas y normativas de gobernanza de la IA para evitar los sesgos y la discriminación. A continuación encontrará algunos ejemplos. Es importante recordar que la normativa está siempre en constante cambio, y las organizaciones que gestionan sistemas complejos de IA tendrán que mantenerse atentas a la evolución de los marcos regionales.
La SR-11-71 es la norma de gobernanza de modelos reguladora de EE. UU. para una gobernanza de modelos eficaz y sólida en la banca. La normativa exige que los responsables de los bancos apliquen iniciativas de gestión del riesgo de los modelos en toda la empresa y mantengan un inventario de los modelos implementados para su uso, en desarrollo para su implementación o retirados recientemente. Los directivos de las instituciones también deben demostrar que sus modelos están logrando el objetivo empresarial que pretendían resolver y que están actualizados y no se han desviado. El desarrollo y la validación de un modelo deben permitir que cualquier persona que no esté familiarizada con él comprenda su funcionamiento, sus limitaciones y sus supuestos clave.
La directiva canadiense sobre la toma de decisiones automatizada2 describe cómo el gobierno de ese país utiliza la IA para orientar las decisiones en varios departamentos. La directiva utiliza un sistema de puntuación para evaluar la intervención humana, la revisión por pares, la monitorización y la planificación de contingencias necesarias para una herramienta de IA creada para servir a los ciudadanos. Las organizaciones que creen soluciones de IA con una puntuación alta deben llevar a cabo dos revisiones por pares independientes, ofrecer un aviso público en un lenguaje sencillo, desarrollar un mecanismo de seguridad contra la intervención humana y establecer cursos de formación recurrentes para el sistema. Dado que la directiva canadiense sobre la toma de decisiones automatizada es una guía para el propio desarrollo de la IA en el país, la normativa no afecta directamente a las empresas como lo hace la SR 11-7 en EE. UU.
En abril de 2021, la Comisión Europea presentó su paquete sobre IA3, que incluía declaraciones sobre el fomento de un enfoque europeo de la excelencia, la confianza y una propuesta de marco jurídico sobre IA. Las declaraciones establecen que, aunque la mayoría de los sistemas de IA entrarán en la categoría de "riesgo mínimo", los sistemas de IA identificados como de "alto riesgo" deberán cumplir requisitos más estrictos, y los sistemas considerados de "riesgo inaceptable" estarán prohibidos. Las organizaciones deben prestar mucha atención a estas normas o se arriesgan a recibir sanciones.
En la región de Asia-Pacífico, los países han publicado varios principios y directrices para gobernar la IA. En 2019, el gobierno federal de Singapur publicó un marco con directrices para abordar cuestiones de ética de la IA en el sector privado. El marco estratégico sobre IA de la India recomienda crear un centro para estudiar cómo abordar las cuestiones relacionadas con la ética, la privacidad y otros aspectos de la IA. China, Japón, Corea del Sur, Australia y Nueva Zelanda también están estudiando directrices para la gobernanza de la IA.4
Implemente e integre de manera sencilla la IA en su empresa, gestione todas las fuentes de datos y acelere los flujos de trabajo de la IA de forma responsable, todo en una sola plataforma.
Simplifique la gobernanza de los datos, la gestión del riesgo y el cumplimiento normativo con IBM OpenPages, una plataforma GRC unificada, altamente escalable e impulsada por la IA.
Nuestro último libro electrónico esboza los elementos fundamentales de la gobernanza de la IA y comparte un marco detallado de gobernanza de la IA que puede aplicar en su organización.
Explore el potencial transformador de la IA responsable para su organización y conozca los factores cruciales que impulsan la adopción de prácticas éticas de IA.
Únase al debate sobre por qué las empresas deben dar prioridad a la gobernanza de la IA para implementar una IA responsable.
La ética de la IA es un campo multidisciplinar que estudia cómo optimizar el impacto beneficioso de la IA a la vez que se reducen los riesgos y los resultados adversos. Conozca la visión de IBM sobre la ética de la IA.
La IA explicable es crucial para que una organización genere confianza al poner en producción modelos de IA.
Descubra cómo la gobernanza de los datos garantiza que las empresas saquen el máximo partido de sus activos de datos.
Notas a pie de página
1. "SR 11-7: Guía sobre la gestión del riesgo de modelos". Junta de Gobernadores del Sistema de la Reserva Federal de Washington, D.C., División de Supervisión y Regulación Bancaria, 4 de abril de 2011.
2. "La nueva directiva federal de Canadá hace que la IA ética sea un problema nacional". Digital, 8 de marzo de 2019.
3. "Un enfoque europeo de la inteligencia artificial". Comisión Europea, 14 de diciembre de 2023
4. "Lucha para la gobernanza de la IA en todo el mundo". Forbes, 27 de marzo de 2019.