Los sistemas de IA se consideran de alto riesgo en virtud de la Ley de IA de la UE si son un producto, o un componente de seguridad de un producto, regulado por leyes específicas de la UE a las que hace referencia la ley, como las leyes de seguridad de los juguetes y de productos médicos de diagnóstico in vitro.
La ley también enumera usos específicos que generalmente se consideran de alto riesgo, incluidos los sistemas de IA utilizados:
- en contextos laborales, como los que se utilizan para seleccionar candidatos, evaluar a los postulantes y tomar decisiones de promoción.
- en ciertos dispositivos médicos
- en determinados contextos de educación y formación profesional
- en el proceso judicial y democrático, como sistemas destinados a influir en el resultado de las elecciones
- para determinar el acceso a servicios públicos o privados esenciales, como los sistemas que evalúan el cumplimiento de los requisitos para acceder a beneficios públicos y evalúan puntajes crediticios.
- en la gestión de infraestructuras críticas (por ejemplo, suministro de agua, gas y electricidad, etc.)
- en cualquier sistema de identificación biométrica que no esté prohibido, excepto en los sistemas cuyo único propósito sea verificar la identidad de una persona (por ejemplo, usar un escáner de huellas dactilares para otorgar a alguien acceso a una aplicación bancaria).
Para los sistemas incluidos en esta lista, puede haber una excepción si el sistema de IA no representa una amenaza significativa para el estado, la seguridad o los derechos de las personas. La ley especifica criterios, uno o más de los cuales deben cumplirse, antes de que se pueda activar una excepción (por ejemplo, cuando el sistema de IA está destinado a realizar una tarea procesal limitada). Si se basa en esta excepción, el proveedor debe documentar su evaluación de que el sistema no es de alto riesgo, y los reguladores pueden solicitar ver esa evaluación. La excepción no está disponible para los sistemas de IA que procesan automáticamente datos personales para evaluar o predecir algún aspecto de la vida de una persona, como sus preferencias de productos (elaboración de perfiles), que siempre se consideran de alto riesgo.
Al igual que con la lista de prácticas prohibidas de IA, la Comisión de la UE puede actualizar la lista de sistemas de IA de alto riesgo en el futuro.