¿Qué es la seguridad de AI?

La creación de sistemas seguros de inteligencia artificial (AI) es una consideración crítica para las empresas y la sociedad debido a la creciente prevalencia e impacto de la AI. La seguridad de la IA ayuda a garantizar que los sistemas de IA se utilicen de la manera más responsable posible y que el futuro de la IA se desarrolle teniendo en cuenta los valores humanos .

Desarrollar y mantener la seguridad de la IA implica identificar posibles riesgos de la IA (como sesgos, seguridad de datos y vulnerabilidad a amenazas externas) y crear procesos para evitar y mitigar estos riesgos. Por ejemplo, las medidas de seguridad de la IA, como la mitigación de sesgos, las pruebas de robustez y los marcos éticos de IA, pueden ayudar a las empresas a desarrollar y utilizar herramientas de IA de manera responsable dentro de sus organizaciones.

A medida que los sistemas de AI se vuelven más sofisticados, se integran más profundamente en la vida de las personas y en áreas críticas del mundo real, como infraestructura, finanzas y seguridad nacional. Estas tecnologías pueden tener impactos tanto positivos como negativos en las organizaciones que las utilizan y en la sociedad en su conjunto.

Las preocupaciones sobre los impactos negativos de AI están creciendo. Una encuesta de 2023 encontró que el 52 % de los estadounidenses estaban más preocupados que entusiasmados por el mayor uso de AI.¹ Otro encontró que al 83 % le preocupa que AI pueda conducir accidentalmente a un evento catastrófico.²

Otra investigación muestra que las preocupaciones no son infundadas: un informe de 2024 encontró que el 44 % de los respondents dijeron que sus organizaciones habían experimentado consecuencias negativas (como problemas de inexactitud o ciberseguridad) por el uso de AI.³ Los esfuerzos de seguridad a menudo se tratan como una ocurrencia tardía: según el Informe de impacto 2023 del Center for AI Safety, solo el 3 % de la investigación técnica se centra en hacer que la AI sea más segura.⁴

Para la sociedad en su conjunto, las medidas de seguridad de AI son necesarias para proteger la seguridad pública, la privacidad y los derechos fundamentales. Los sistemas de AI que son sesgados, opacos o no se ajustan a los valores humanos pueden perpetuar o amplificar las desigualdades sociales.

A los expertos también les preocupa que algunos sistemas avanzados de AI puedan volverse tan o más inteligentes que los humanos. La inteligencia artificial general (AGI) se refiere a sistemas potenciales de AI que entienden, aprenden y realizan tareas de pensamiento de la misma manera que lo hacen los seres humanos. La superinteligencia artificial (ASI) se refiere a sistemas hipotéticos de AI con un alcance intelectual y funciones cognitivas más avanzadas que cualquier ser humano. El desarrollo de AGI y ASI plantea preocupaciones de que tales sistemas serían peligrosos si no estuvieran alineados con los valores humanos o sujetos a la supervisión humana. Con demasiada autonomía, los críticos dicen que estos sistemas representarían una amenaza existencial para la humanidad.

Desde una perspectiva empresarial, la AI segura ayuda a generar confianza en los consumidores, protegerse contra responsabilidades legales y evitar una mala toma de decisiones. Las organizaciones que toman medidas para garantizar que el uso de AI esté alineado con sus valores pueden evitar consecuencias negativas para ellas y sus clientes.

Los riesgos de AI se pueden clasificar en varios tipos, cada uno de los cuales requiere diferentes medidas de seguridad de AI y esfuerzos de gestión de riesgos .

• Sesgo y equidad
• Privacidad
• Pérdida de control
• Riesgos existenciales
• Uso indebido malicioso
• Ciberseguridad

Los sistemas de AI pueden perpetuar o amplificar los sesgos sociales. El sesgo algorítmico se produce cuando la IA se entrena con datos e insumos incompletos o engañosos. Esto puede conducir a una toma de decisiones injusta. Por ejemplo, una herramienta de AI entrenada con datos discriminatorios podría tener menos probabilidades de aprobar hipotecas para solicitantes de ciertos antecedentes o podría tener más probabilidades de recomendar la contratación de un solicitante de empleo masculino en lugar de una femenina.

Los sistemas de AI tienen el potencial de acceder de forma inapropiada, exponer o hacer un uso indebido de los datos personales, lo que genera problemas de privacidad. Si se filtran datos confidenciales, los creadores o usuarios de un sistema de AI podrían ser responsables.

Los resultados de los sistemas avanzados de AI, especialmente aquellos construidos para operar como agentes autónomos, pueden ser impredecibles. Sus acciones también pueden ser dañinas. Si son capaces de decidir de forma independiente, podría ser difícil detenerlos. Sin un elemento de control humano, podría ser imposible intervenir o apagar un sistema de AI que actúe de manera inapropiada.

AGI, ASI y otros sistemas de AI altamente avanzados podrían actuar de manera que pongan en peligro a la humanidad o interrumpan los sistemas globales si se gestionan mal. Los peligros de una carrera de IA, similar a una carrera armamentista, ponen en riesgo la estabilidad geopolítica.

La AI también podría utilizarse indebidamente para la manipulación social a gran escala o la guerra cibernética. En 2023, el Center for AI Safety (CAIS) sin fines de lucro publicó una declaración de una sola oración respaldada por varios investigadores y líderes de AI. Decía: "Mitigar el riesgo de extinción de AI debería ser una prioridad global junto con otros riesgos a escala social, como las pandemias y la guerra nuclear".⁵

Si bien las consecuencias y los errores no deseados son una fuente de riesgo de AI, los actores maliciosos también pueden usar la Tecnología intencionalmente para causar daño. La AI puede utilizarse como arma para ataques cibernéticos, campañas de desinformación, vigilancia ilegal o incluso daños físicos. Estas amenazas existen a nivel individual y social.

Los sistemas de AI pueden ser vulnerables a problemas de seguridad. Se enfrentan a la posibilidad de ataques adversarios, en los que actores maliciosos manipulan las entradas de datos para engañar a los modelos, lo que genera resultados incorrectos.

Por ejemplo, los jailbreaks de AI se producen cuando los hackers utilizan inyecciones de prompt y otras técnicas para explotar vulnerabilidades en los sistemas de AI y realizar acciones restringidas. El envenenamiento de datos ocurre cuando los datos de entrenamiento comprometidos sesgan el comportamiento de AI. El acceso no autorizado y otras vulnerabilidades o riesgos de seguridad pueden dar lugar a un uso indebido de los sistemas de AI y sus datos.

La seguridad de la AI y la seguridad de la AI son aspectos relacionados pero distintos de la inteligencia artificial. La seguridad de AI tiene como objetivo dirección los problemas inherentes y las consecuencias no deseadas, mientras que la seguridad de AI se centra en proteger los sistemas de AI de amenazas externas.

La seguridad de la IA intenta conectar la IA con los valores humanos y reducir la posibilidad de que los sistemas de IA tengan un impacto negativo en las empresas y la sociedad. Hace hincapié en la alineación de la IA , que es el proceso de codificar los valores y objetivos humanos en modelos de IA .

La seguridad de la AI consiste en proteger los sistemas de la AI de amenazas externas, como ciberataques y filtraciones de datos. Implica salvaguardar la confidencialidad y la integridad de los modelos de IA. La seguridad de AI también podría referir al uso de inteligencia artificial para mejorar la postura de seguridad de una organización. Según esta definición, se incluye el uso de IA y machine learning (ML) para anticipar y abordar amenazas potenciales.

Los líderes y las empresas de AI están implementando diversas prácticas para apoyar el desarrollo y el uso responsables de las tecnologías de AI. Las medidas de seguridad de AI incluyen:

• Detección y mitigación de sesgos algorítmicos
• Pruebas de robustez y validación
• IA explicable (XAI)
• Marcos éticos de AI
• Supervisión humana
• Protocolos de seguridad
• Colaboración en toda la industria

Los algoritmos pueden perpetuar o amplificar los prejuicios presentes en los datos con los que se capacitan. Para combatir este problema, las empresas están invirtiendo en esfuerzos para abordar el sesgo algorítmico. Técnicas como la recopilación de diversos conjuntos de datos, las evaluaciones algorítmicas de equidad y los métodos de depuración ayudan a identificar posibles problemas.

Los rigurosos procesos de prueba y validación ayudan a los sistemas de AI a resistir los peligros y pueden identificar riesgos técnicos. Técnicas como las pruebas adversarias, las pruebas de estrés y la verificación formal ayudan a garantizar que las herramientas y modelos de AI funcionen según lo previsto y no muestren comportamientos indeseables.

Muchos modelos de IA, especialmente los modelos de lenguaje de gran tamaño (LLM), son "cajas negras" que toman decisiones que son difíciles de interpretar para los humanos. Sin transparencia en el proceso de toma de decisiones, es menos probable que los usuarios confíen en los resultados y las recomendaciones. La IA explicable (XAI) tiene como objetivo aclarar los procesos opacos detrás de los sistemas complejos de AI, centrándose en la interpretabilidad para mostrar cómo llegan a sus Resultados.

Muchas organizaciones cuentan con infraestructuras éticas de AI para guiar el desarrollo y el uso de sistemas de AI. Estos infraestructuras y sus puntos de referencia relacionados suelen incluir principios como la transparencia, la equidad, la responsabilidad y la privacidad. Proporcionan barreras de seguridad para usar y desarrollar herramientas de AI.

Si bien la Automatización es parte del atractivo de la AI para muchas empresas, mantener el control humano es importante por razones de seguridad. Esto significa que los operadores humanos monitoreen el rendimiento del sistema de AI, intervengan cuando sea necesario y tomen decisiones finales en situaciones críticas. Los enfoques human-in-the-loop ayudan a garantizar que una persona real sea responsable de las acciones de un sistema de AI.

La implementación de medidas de seguridad sólidas, como la cifrado, el control de acceso y la anomalía detección, ayuda a proteger los sistemas de AI contra el uso indebido o el acceso no autorizado. Las empresas también podrían invertir en medidas de ciberseguridad para protegerse contra ciberataques y ciberamenazas que podrían comprometer la integridad de sus sistemas de AI.

La seguridad de la AI es un campo complejo y en evolución que requiere la colaboración entre investigadores, líderes de la industrias y responsables políticos. Muchas empresas participan en consorcios de la industria, iniciativas de investigación y esfuerzos de estandarización para compartir conocimientos, mejores prácticas y lecciones aprendidas. Al trabajar juntos, la comunidad de AI puede desarrollar medidas de seguridad más estables y fiables.

La investigación sobre la seguridad de la AI es un esfuerzo compartido entre muchos stakeholders.  

La seguridad de AI comienza con los desarrolladores e ingenieros responsables de diseñar, construir y probar los sistemas de AI. Podrían centrar en cuestiones fundamentales, como cómo alinear los objetivos de AI con los valores humanos y cómo crear modelos que sean transparentes y explicables. También son responsables de probar y validar modelos y herramientas para ayudar a garantizar que funcionen según lo previsto.

Las empresas líderes en el desarrollo de AI, incluidas IBM, OpenAI, Google DeepMind, Microsoft, Anthropic y otras, están a la vanguardia de los esfuerzos de seguridad de la AI. Invierten en equipos dedicados a la seguridad de la AI, establecen pautas éticas y se adhieren a los principios de IA responsable para evitar resultados dañinos.

Algunas empresas también han creado infraestructuras y protocolos para abordar los riesgos tanto en las fases de investigación como de despliegue, como herramientas de detección de sesgos que permiten la supervisión humana. Muchos también colaboran en coaliciones de industrias, compartiendo conocimientos para establecer estándares en toda las industrias para la seguridad de la AI.

Los esfuerzos más amplios de gobernanza de la IA son una parte clave de las medidas globales de seguridad de la IA. Organizaciones internacionales como las Naciones Unidas, el Foro Económico Mundial y la Organización de Cooperación y Desarrollo Económicos (OCDE) lideran iniciativas centradas en la ética y la seguridad de la AI. Los gobiernos individuales de todo el mundo también están creando normas y reglamentos de seguridad para la AI:

En Estados Unidos, el Instituto de Seguridad de Inteligencia Artificial (AISI), parte del Instituto Nacional de Estándares y Tecnología (NIST), trabaja para abordar cuestiones de seguridad. Sus esfuerzos se centran en prioridades como el avance de la investigación y el desarrollo de medidas de mitigación de riesgos.

En la Unión Europea, la Ley de IA de la UE incluye varias normas y directrices de seguridad y sanciones por incumplimiento. Por otra parte, el Reino Unido creó el AI Safety Institute para promover el desarrollo seguro de la AI. Varios otros países, incluidos Singapur, Japón y Canadá, también están creando organismos de seguridad de AI para realizar investigaciones e informar el desarrollo y la regulación con un enfoque en la seguridad pública.

Los responsables políticos e investigadores de organizaciones no gubernamentales (ONG), grupos de reflexión y otros colectivos trabajan para abordar los problemas de seguridad. Estudian cuestiones de seguridad nacional, derechos humanos y política legislativa y recomiendan formas de ayudar a que el desarrollo de la AI se ajuste a los valores e intereses sociales. Concientización sobre los riesgos, establecen directrices éticas, fomentan la transparencia e impulsan la investigación responsable.

Algunos grupos clave sin fines de lucro y de defensa de la seguridad de AI incluyen:

• Center for AI Safety: CAIS es una organización sin fines de lucro con sede en San Francisco que realiza investigaciones y crea materiales de aprendizaje (como libros de texto) para reducir los riesgos a escala social asociados con la AI.
  
  
• Center for Human-Compatible AI: CHAI es un centro de investigación de la Universidad de California, Berkeley, que realiza investigaciones sobre la seguridad de la AI, incluido el trabajo sobre el aprendizaje por refuerzo y el aprendizaje de valores.
  
  
• Stanford Institute for Human-Centered Artificial Intelligence: esta organización con sede en la Universidad de Stanford persigue la investigación y la defensa dirigidas al desarrollo de la AI centrada en el ser humano y los valores de seguridad, confianza y responsabilidad.
  
  
• Machine Intelligence Research Institute: MIRI es un grupo de investigación que se centra en los desafíos técnicos de la IA confiable y la alineación de la IA.
  
  
• Asociación sobre IA: una colaboración de organizaciones académicas y industrias que promovió prácticas de IA responsable a través de la investigación, la información pública y otros trabajos.
  
  
• Future of Life Institute: esta organización sin fines de lucro busca reducir los riesgos existenciales asociados con el desarrollo avanzado de IA a través de la investigación y la promoción.
  
  
• Iniciativa de seguridad de AI de la Alliance de seguridad en la cloud: La coalición de la CSA trabaja para crear orientación y herramientas para empoderar a las organizaciones para desplegar soluciones de AI que sean seguras, responsables y éticas.