La Ley de IA de la UE clasifica los sistemas de IA en diferentes categorías según el nivel de riesgo. El riesgo aquí se refiere a la probabilidad y gravedad del daño potencial que una IA podría causar a la salud, la seguridad o los derechos humanos. 

En líneas generales, la ley aborda cuatro categorías de riesgo de IA:

·       Riesgo inaceptable

-       Riesgo alto

·       Riesgo limitado

·       Riesgo mínimo

Las aplicaciones de IA que plantean un nivel de riesgo inaceptable están prohibidas. La Ley de IA de la UE enumera explícitamente todas las prácticas prohibidas para la IA, que incluyen:

• Sistemas que manipulan a las personas de forma intencional para que tomen decisiones perjudiciales que de otro modo no tomarían.
  
  
• Sistemas que explotan la edad, la discapacidad o la situación social o económica de una persona para influir materialmente en su comportamiento. 
  
  
• Sistemas de categorización biométrica que utilizan datos biométricos para inferir información personal delicada, como la raza, la orientación sexual o las opiniones políticas.
  
  
• Sistemas de calificación social que utilizan comportamientos y características irrelevantes o intrascendentes para promover un trato perjudicial para las personas.
  
  
• Sistemas de identificación biométrica remota y en tiempo real utilizados en lugares públicos con fines policiales. Existen algunas excepciones limitadas, como el uso de estas herramientas en búsquedas específicas de víctimas de determinados delitos graves.
  
  
• Sistemas policiales predictivos que elaboran perfiles de las personas para evaluar su probabilidad de cometer un delito. 
  
  
• Bases de datos de reconocimiento facial que extraen imágenes no focalizadas de Internet o CCTV.
  
  
• Herramientas de reconocimiento de emociones utilizadas en escuelas o lugares de trabajo, excepto cuando estas herramientas se utilizan con fines médicos o de seguridad.

La Comisión Europea se reserva el derecho de revisar y modificar esta lista, por lo que es posible que se prohíban más usos de la IA en el futuro.

La mayor parte de la ley trata sobre sistemas de IA de riesgo alto. Hay dos formas de que un sistema se considere de riesgo alto en virtud de la Ley de IA de la UE: si se utiliza en un producto regulado o si se denomina explícitamente como de riesgo alto. 

Los productos de algunos sectores, como los juguetes, los equipos de radio y los dispositivos médicos, ya están regulados por leyes preexistentes de la UE. Cualquier sistema de IA que sirva como componente de seguridad de estos productos regulados, o que actúe como producto regulado en sí mismo, se considera automáticamente de riesgo alto. 

La ley también enumera usos específicos de la IA que siempre se consideran de riesgo alto. A modo de ejemplo:

• Todo sistema biométrico que no esté prohibido expresamente por la Ley de IA de la UE u otras leyes de la UE o de los Estados miembros, con excepción de los sistemas que verifican la identidad de una persona (por ejemplo, el uso de un escáner de huellas digitales para otorgar a alguien acceso a una aplicación bancaria).
  
  
• Sistemas utilizados como componentes de seguridad para infraestructuras críticas, como suministros de agua, gas y electricidad.
  
  
• Sistemas utilizados en la educación y formación profesional, incluidos los sistemas que monitorean el rendimiento de los estudiantes, detectan trampas y dirigen las admisiones.
  
  
• Sistemas utilizados en entornos laborales, como los que se utilizan para seleccionar candidatos, evaluar a los postulantes y tomar decisiones de promoción.
  
  
• Sistemas utilizados para determinar el acceso a servicios públicos o privados esenciales, como los sistemas que evalúan el cumplimiento de los requisitos para acceder a beneficios públicos y evalúan puntajes crediticios. No se incluyen los sistemas utilizados para detectar fraudes financieros.
  
  
• Sistemas utilizados para la aplicación de la ley, como polígrafos habilitados para IA y análisis de pruebas.
  
  
• Sistemas utilizados para la migración y el control fronterizo, como los sistemas que procesan solicitudes de visa. No se incluyen los sistemas que verifican los documentos de viaje.
  
  
• Sistemas utilizados en procesos judiciales y democráticos, como sistemas que influyen directamente en los resultados de las elecciones.
  
  
• La elaboración de perfiles (el procesamiento automático de datos personales para evaluar o predecir algún aspecto de la vida de una persona, como sus preferencias de productos) siempre es de riesgo alto.

Al igual que con la lista de prohibiciones establecidas para la IA, la Comisión Europea puede actualizar esta lista en el futuro.

Los proveedores de sistemas de riesgo alto deben seguir estas reglas:

• Implementar un sistema de gestión de riesgos continua para monitorear la IA y garantizar el cumplimiento a lo largo de su ciclo de vida. Se espera que los proveedores mitiguen los riesgos planteados tanto por el uso previsto como por el mal uso previsible de sus sistemas.
  
  
• Adoptar normas rigurosas de gobernanza de datos para garantizar que los datos de entrenamiento y prueba se recopilen, manejen y protejan de forma adecuada. Los datos también deben ser de alta calidad, pertinentes para el propósito del sistema y deben estar razonablemente libres de sesgos.
  
  
• Mantener una documentación técnica completa de las especificaciones de diseño del sistema, capacidades, limitaciones y esfuerzos de cumplimiento normativo.
  
  
• Implementar registros de eventos automatizados en herramientas de IA para ayudar a rastrear las operaciones del sistema, rastrear los resultados e identificar riesgos e incidentes graves.
  
  
• Proporcionar a los responsables de la implementación de sistemas de IA la información que necesitan para cumplir con la normativa, lo que incluye instrucciones claras sobre cómo usar el sistema, interpretar los resultados y mitigar los riesgos.
  
  
• Diseñar sistemas para respaldar y permitir la supervisión humana, por ejemplo, proporcionando interfaces que permitan a los usuarios monitorear, anular e intervenir en las operaciones del sistema.
  
  
• Asegurarse de que los sistemas de IA sean razonablemente precisos, robustos y seguros. Esto puede incluir la creación de sistemas de respaldo, el diseño de algoritmos para evitar sesgos e implementar los controles adecuados de ciberseguridad.

Si un sistema de IA se ubica en una de las categorías de riesgo alto, pero no representa una amenaza significativa para la salud, la seguridad o los derechos, los proveedores pueden dejar sin efecto estos requisitos. El proveedor debe documentar pruebas de que el sistema no representa ningún riesgo y los reguladores pueden penalizar a las organizaciones por la clasificación errónea de los sistemas.

Los sistemas de IA de riesgo limitado son sistemas que cumplen obligaciones de transparencia específicas, es decir, reglas que deben seguir determinados tipos de IA, independientemente de su nivel de riesgo. Algunas de estas reglas son las siguientes:

• Los sistemas de IA deben informar claramente a los usuarios cuando interactúan con la inteligencia artificial. Por ejemplo, un chatbot debe decirle a las personas que es un chatbot.
  
  
• Las organizaciones deben informar a las personas cada vez que utilizan sistemas de reconocimiento de emociones o de categorización biométrica. Todos los datos personales recopilados a través de estos sistemas deben manejarse de acuerdo con el RGPD. 
  
  
• Los sistemas de IA generativa que crean texto, imágenes u otros contenidos deben utilizar marcas de agua u otras señales legibles por máquina que indiquen que ese contenido fue generado por IA. 
  
  
• Los responsables de la implementación deben etiquetar claramente los deepfakes y comunicar este hecho a la audiencia.
  
  
• Los responsables de la implementación que utilizan IA para producir textos sobre asuntos de interés público, como artículos de noticias, deben etiquetar el texto como generado por IA, a menos que un editor humano lo revise y asuma la responsabilidad.

La categoría de riesgo mínimo (a veces llamada “categoría de riesgo mínimo o nulo”) incluye las herramientas de IA que no interactúan directamente con las personas o que tienen muy poco impacto material cuando lo hacen. Los ejemplos incluyen filtros de spam de correo electrónico e IA en videojuegos. Muchos usos comunes de la IA hoy en día se ubican en esta categoría. 

La mayoría de las disposiciones de la Ley de IA no se aplican a la IA de riesgo mínimo (aunque es posible que algunas deban cumplir con las obligaciones de transparencia enumeradas anteriormente).

Debido a que los modelos GPAI son tan adaptables, puede ser difícil categorizarlos según el nivel de riesgo. Por esta razón, la Ley de IA de la UE crea un conjunto separado de reglas explícitamente para los modelos GPAI.

Todos los proveedores de modelos GPAI deben:

• Mantener la documentación técnica actualizada que describa, entre otras cosas, los procesos de diseño, pruebas y entrenamiento del modelo.
  
  
• Proporcionar a los responsables de la implementación de sus modelos, como las organizaciones que crean sistemas de IA sobre ellos, la información que necesitan para usar el modelo de manera responsable. Esta información incluye las capacidades, limitaciones y el propósito previsto del modelo.
  
  
• Establecer políticas para cumplir con las leyes sobre derechos de autor de la UE.
  
  
• Redactar y poner a disposición del público resúmenes detallados de los conjuntos de datos de entrenamiento.

La mayoría de los modelos GPAI gratuitos y de código abierto están exentos de cumplir los dos primeros requisitos. Solo deben cumplir las leyes sobre derechos de autor y compartir resúmenes de los datos de entrenamiento.

La Ley de IA de la UE considera que algunos modelos GPAI suponen un riesgo sistémico. El riesgo sistémico es el potencial de un modelo para causar daños graves y de gran alcance a la salud pública, la seguridad o los derechos fundamentales. 

Según la ley, se dice que un modelo representa un riesgo sistémico si tiene "capacidades de alto impacto". Básicamente, esto significa que las capacidades del modelo igualan o superan las del modelo GPAI más avanzado disponible en ese momento. 

La ley utiliza recursos de entrenamiento como criterios clave para identificar el riesgo sistémico. Si la cantidad acumulada de potencia informática utilizada para entrenar un modelo es superior a 1025 operaciones de punto flotante (FLOP), se considera que tiene capacidades de alto impacto y representa un riesgo sistémico. 

La Comisión Europea también puede clasificar un modelo como de riesgo sistémico si determina que el modelo tiene un impacto equivalente a esas capacidades de riesgo alto, incluso si no alcanza el umbral de FLOP. 

Los modelos GPAI que plantean un riesgo sistémico (incluidos los modelos gratuitos y de código abierto) deben cumplir todos los requisitos anteriores, además de algunas obligaciones adicionales:

• Realizar evaluaciones estandarizadas de los modelos, incluso pruebas adversarias, para identificar y mitigar riesgos sistémicos.
  
  
• Documentar y notificar incidentes graves a la Oficina de IA de la UE y a los organismos reguladores estatales pertinentes.
  
  
• Implementar controles de seguridad adecuados para proteger el modelo y su infraestructura física.

Los proveedores de modelos GPAI pueden lograr el cumplimiento mediante la adopción de códigos de prácticas voluntarios, que la Oficina de IA de la UE está elaborando actualmente. Se espera que los códigos se completen dentro de los nueve meses posteriores a la entrada en vigor de la ley. Los proveedores que no adopten estos códigos deben demostrar su cumplimiento de otras maneras. 

Los proveedores, responsables de implementación, importadores y distribuidores generalmente son responsables de garantizar que los productos de IA que fabrican, usan o circulan cumplan con las normas. Deben documentar pruebas de su cumplimiento y compartirlas con las autoridades cuando así lo soliciten. También deben compartir información y cooperar entre sí para garantizar que todas las organizaciones de la cadena de suministro de IA puedan cumplir con la Ley de IA de la UE.

Los proveedores y responsables de implementación también deben asegurarse de que los miembros del personal u otras partes que trabajan con IA en nombre de la organización tengan los conocimientos necesarios sobre IA para manejar la IA de manera responsable.

Más allá de estos requisitos generales, cada parte tiene sus propias obligaciones específicas.

• Diseñar sistemas y modelos de IA para cumplir con los requisitos pertinentes.
  
  
• Enviar nuevos productos de IA de riesgo alto a las autoridades correspondientes para realizar evaluaciones de conformidad antes de comercializarlos. Las evaluaciones de conformidad son evaluaciones realizadas por terceros para determinar el cumplimiento de un producto con la Ley de IA de la UE. 
  
  
• Si un proveedor realiza un cambio sustancial en un producto de IA que altera su propósito o afecta su situación de cumplimiento, el proveedor debe volver a enviar el producto para su evaluación.
  
  
• Registrar productos de IA de riesgo alto en la base de datos a nivel de la UE.
  
  
• Implementar planes de monitoreo posteriores a la comercialización para rastrear el rendimiento de la IA y garantizar el cumplimiento continuo durante el ciclo de vida del sistema.
  
  
• Informar a las autoridades de los Estados miembros sobre incidentes graves relacionados con la IA, como muertes, interrupciones de infraestructuras críticas e infracciones de los derechos fundamentales, y tomar las medidas correctivas necesarias. 

• Utilizar los sistemas de IA para el fin previsto y según las instrucciones de los proveedores.
  
  
• Garantizar que los sistemas de riesgo alto cuenten con supervisión humana adecuada.
  
  
• Informar a proveedores, distribuidores, autoridades y otras partes pertinentes sobre incidentes graves relacionados con la IA.
  
  
• Conservar los registros del sistema de IA durante al menos seis meses o más, en función de la legislación de los Estados miembros.
  
  
• Los responsables de la implementación que utilizan sistemas de IA de alto riesgo para proporcionar servicios esenciales, como instituciones financieras, organismos gubernamentales y organismos encargados de hacer cumplir la ley, deben realizar evaluaciones de impacto en los derechos fundamentales antes de utilizar una IA por primera vez.

Los importadores y distribuidores deben asegurarse de que los sistemas y modelos de IA que circulan cumplan con la Ley de IA de la UE. 

Un importador o distribuidor se considera proveedor de IA si pone su propio nombre o marca comercial en un producto o realiza un cambio sustancial en el producto. En este caso, el importador o distribuidor debe asumir todas las responsabilidades del proveedor descritas en la ley.