Explorar los problemas de privacidad en la era de la IA

Es una de las difíciles verdades de la innovación: a medida que avanza la tecnología, también lo hacen los riesgos de usarla.

Por ejemplo, las herramientas que mejoran la recopilación y el análisis de datos también aumentan la probabilidad de que los datos personales y la información confidencial aparezcan donde no pertenecen.

Este riesgo particular, el riesgo de privacidad, es especialmente frecuente en la era de la inteligencia artificial (IA), ya que la información confidencial se recopila y utiliza para crear y ajustar los sistemas de IA y machine learning. Y a medida que los legisladores se apresuran a abordar el problema de las regulaciones de privacidad en torno al uso de la IA, crean nuevos desafíos de cumplimiento para las empresas que utilizan tecnologías de IA para la toma de decisiones.

A pesar de las preocupaciones de privacidad y cumplimiento, las empresas continúan desplegando modelos de IA para aumentar la productividad y desbloquear valor. Echemos un vistazo más de cerca a los riesgos y salvaguardas de la privacidad de la IA que afectan a la sociedad y al comercio hoy en día.

La privacidad de la IA es la práctica de proteger la información personal o confidencial recopilada, utilizada, compartida o almacenada por la IA.

La privacidad de la IA está estrechamente relacionada con la privacidad de datos. La privacidad de datos, también conocida como privacidad de la información, es el principio según el cual una persona debe tener control sobre sus datos personales. Este control incluye la capacidad de decidir cómo las organizaciones recopilan, almacenan y emplean sus datos. Pero el concepto de privacidad de datos es anterior a la IA y la forma en que la gente piensa en la privacidad de datos evolucionó con la llegada de la IA.

“Hace diez años, la mayoría de las personas pensaba en la privacidad de datos en términos de compras en línea. Decían: ‘No sé si me importa si estas empresas saben lo que compro y lo que busco, porque a veces es servicio'”, explicó Jennifer King, becaria del Stanford University Institute for Human-Centered Artificial Intelligence, en una entrevista publicada en la página web del instituto.¹

“Pero ahora hemos visto a las empresas cambiar a esta recopilación de datos ubicua que entrena a los sistemas de IA”, dijo King, “lo que puede tener un gran impacto en toda la sociedad, especialmente en nuestros derechos civiles”.

A menudo podemos rastrear las preocupaciones sobre la privacidad de la IA a cuestiones relacionadas con la recopilación de datos, la ciberseguridad, el diseño de modelos y la gobernanza. Estos riesgos para la privacidad de la IA incluyen:

• Recopilación de datos sensibles
• Recopilación de datos sin consentimiento
• Uso de datos sin permiso
• Vigilancia y sesgo no comprobados
• Exfiltración de datos
• Filtración de información

Una de las razones por las que podría decirse que la IA plantea un mayor riesgo de privacidad de datos que los avances tecnológicos anteriores es el gran volumen de información en juego. Terabytes o petabytes de texto, imágenes o video se incluyen rutinariamente como datos de entrenamiento, e inevitablemente algunos de esos datos son sensibles: información de salud, datos personales de sitios de redes sociales, datos de finanzas personales, datos biométricos utilizados para el reconocimiento facial, entre otros. Con la recopilación, almacenamiento y transmisión de datos más confidenciales que nunca, las probabilidades son mayores de que al menos algunos de ellos se expongan o desplieguen de maneras que infrinjan los derechos de privacidad.

Pueden surgir controversias cuando se obtienen datos para el desarrollo de IA sin el consentimiento expreso o el conocimiento de las personas de quienes se recopilan. En el caso de los sitios web y las plataformas, los usuarios esperan cada vez más autonomía sobre sus propios datos y más transparencia respecto a la recopilación de datos. Estas expectativas salieron a la luz recientemente, cuando el sitio de redes profesionales LinkedIn enfrentó una reacción negativa después de que algunos usuarios notaron que automáticamente optaron por permitir que sus datos entrenaran modelos de IA generativa.²

Incluso cuando los datos se recopilan con el consentimiento de las personas, existen riesgos de privacidad si los datos se utilizan para fines distintos de los inicialmente divulgados. “Estamos viendo datos como un currículo o una fotografía que compartimos o publicamos con un propósito que se reutilizan para entrenar sistemas de IA, a menudo sin nuestro conocimiento o consentimiento”, dijo King. En California, por ejemplo, una expaciente quirúrgica descubrió que las fotos relacionadas con su tratamiento médico se habían utilizado en un conjunto de datos de entrenamiento de IA. La paciente declaró que había firmado un formulario de consentimiento para que su médico tomara las fotos, pero no para que se incluyeran en un conjunto de datos.³

La preocupación por la privacidad relacionada con la vigilancia generalizada y sin control, ya sea a través de cámaras de seguridad en la vía pública o de cookies de seguimiento en computadoras personales, surgió mucho antes de la proliferación de la IA. Pero la IA puede exacerbar estos problemas de privacidad porque se utilizan modelos de IA para analizar datos de vigilancia. A veces, los resultados de estos análisis pueden ser perjudiciales, sobre todo cuando demuestran un sesgo. En el ámbito de la aplicación de la ley, por ejemplo, varias detenciones erróneas de personas de color se relacionaron con la toma de decisiones impulsada por IA^.4

Los modelos de IA contienen una gran cantidad de datos confidenciales que pueden resultar irresistibles para los atacantes. “Estos [datos] terminan con una gran diana a la que alguien va a intentar dar en el blanco”, explicó Jeff Crume, ingeniero distinguido de seguridad de IBM Security, en un video reciente de IBM Technology (enlace externo a ibm.com). Los actores maliciosos pueden llevar a cabo dicha exfiltración de datos (robo de datos) de las aplicaciones de IA a través de diversas estrategias. Por ejemplo, en los ataques de inyección de instrucciones, los hackers disfrazan las entradas maliciosas como instrucciones legítimas, manipulando los sistemas de IA generativa para exponer datos confidenciales. Por ejemplo, un hacker que utilice la instrucción correcta podría engañar a un asistente virtual impulsado por LLM para que reenvíe documentos privados.

La fuga de datos es la exposición accidental de datos confidenciales, y algunos modelos de IA han demostrado ser vulnerables a tales filtraciones de datos. En un caso que generó titulares, ChatGPT, el modelo de lenguaje grande (LLM) de OpenAI, mostró a algunos usuarios los títulos de los historiales de conversación de otros usuarios.⁵ También existen riesgos para los modelos de IA pequeños y patentados. Por ejemplo, considere una empresa de atención médica que crea una aplicación de diagnóstico interna impulsada por IA basada en los datos de sus clientes. Esa aplicación podría filtrar involuntariamente la información privada de los clientes a otros clientes que utilizan una instrucción en particular. Incluso ese intercambio involuntario de datos puede resultar en violaciones graves de la privacidad.

Los esfuerzos de los legisladores para evitar que los avances tecnológicos comprometan la privacidad individual se remontan al menos a la década de 1970. Sin embargo, el rápido crecimiento de la recopilación de datos comercializados y el despliegue de la IA crearon una nueva urgencia para promulgar leyes de privacidad de datos. Dichas leyes incluyen:

El RGPD establece varios principios que los responsables y encargados del tratamiento de datos deben seguir en el manejo de datos personales. En virtud del principio de limitación de la finalidad, las empresas deben tener en mente un propósito específico y lícito para los datos que recopilan. Deben transmitir ese propósito a los usuarios y solo recopilar la cantidad mínima de datos necesarios para ese propósito.

Las empresas también deben emplear los datos de forma justa. Deben mantener informados a los usuarios sobre el tratamiento de datos personales y seguir las reglas de protección de datos. Bajo el principio de limitación de almacenamiento, una empresa solo debe conservar los datos personales hasta que se cumpla su propósito. Los datos deben eliminarse cuando ya no se necesiten.

Considerada el primer marco regulatorio integral del mundo para la IA, la Ley de IA de la UE prohíbe algunos usos de IA de manera estricta e implementa estrictos requisitos de gobernanza, gestión de riesgos y transparencia para otros.

Aunque la ley de AI de la UE no tiene prácticas prohibidas específicas sobre la privacidad de la IA, sí impone limitaciones en el uso de datos. Las prácticas prohibidas de IA incluyen:

• Extracción no selectiva de imágenes faciales de Internet o CCTV para bases de datos de reconocimiento facial; y
• Aplicación de la ley: uso público de sistemas de identificación biométrica remota en tiempo real (a menos que se aplique una excepción y se requiera la autorización previa de una autoridad administrativa judicial o independiente)

Los sistemas de IA de alto riesgo deben cumplir con requisitos específicos, como adoptar prácticas rigurosas de gobernanza de datos para garantizar que los datos de entrenamiento, validación y prueba cumplan con criterios de calidad específicos.

Las leyes sobre privacidad de datos entraron en vigor en varias jurisdicciones estadounidenses en los últimos años. Los ejemplos incluyen la California Consumer Privacy Act y la Texas Data Privacy and Security Act. En marzo de 2024, Utah promulgó la Artificial Intelligence and Policy Act, que se considera el primer estatuto estatal importante que rige específicamente el uso de la IA.

A nivel federal, el gobierno aún tiene que implementar nuevas leyes nacionales de IA y privacidad de datos. Sin embargo, en 2022, la Oficina de Política Científica y Tecnología (OSTP) de la Casa Blanca publicó su “Blueprint for an AI Bill of Rights”. El marco no vinculante esboza cinco principios para guiar el desarrollo de la IA, incluida una sección dedicada a la privacidad de datos que insta a los profesionales de IA a buscar el consentimiento de las personas para el uso de datos.

China es uno de los primeros países en promulgar regulaciones en materia de IA. En 2023, China emitió sus Medidas provisionales para la administración de servicios de IA generativa. Según la ley, la provisión y el uso de servicios de IA generativa deben “respetar los derechos e intereses legítimos de otros” y están obligados a “no poner en peligro el estado físico y mental de otros, y no infringir los derechos de imagen, derechos de reputación de otros , derechos de honor, derechos de privacidad y derechos de información personal”.⁶

Las organizaciones pueden idear enfoques de privacidad basados en IA para ayudar a cumplir la normativa y generar confianza entre sus stakeholders^.7 Las recomendaciones de la OSTP incluyen:

• Evaluaciones de riesgos
• Limitar la recopilación de datos
• Buscar y confirmar el consentimiento
• Seguir las mejores prácticas de seguridad
• Proporcionar más protección para los datos de dominios confidenciales
• Informar sobre la recopilación y el almacenamiento de datos

Los riesgos de privacidad deben evaluarse y abordarse a lo largo del ciclo de vida de desarrollo de un sistema de IA. Estos riesgos pueden incluir posibles daños a quienes no son usuarios del sistema, pero cuya información personal podría inferirse a través del análisis avanzado de datos.

Las organizaciones deben limitar la recopilación de datos de entrenamiento a lo que se puede recopilar legalmente y usar “de acuerdo con las expectativas de las personas cuyos datos se recopilan”. Además de esta minimización de datos, las empresas también deben establecer plazos para la retención de datos, con el objetivo de eliminar los datos lo antes posible.

Las organizaciones deben proporcionar al público mecanismos de “consentimiento, acceso y control” sobre sus datos. El consentimiento debe volver a obtenerse si cambia el caso de uso que motivó la recopilación de datos.

Las organizaciones que emplean IA deben seguir las mejores prácticas de seguridad para evitar la fuga de datos y metadatos. Estas prácticas pueden incluir el uso de criptografía, anonimización y mecanismos de control de acceso.

Los datos de ciertos dominios deben estar sujetos a protección adicional y utilizarse solo en “contextos estrictamente definidos”. Estos “ámbitos sensibles” incluyen el estado, el empleo, la educación, la justicia penal y las finanzas personales. Los datos generados por o sobre menores también se consideran confidenciales, incluso si no pertenecen a uno de los dominios enumerados.

Las organizaciones deben responder a las solicitudes de las personas para saber cuáles de sus datos se utilizan en un sistema de IA. Las organizaciones también deben proporcionar de forma proactiva informes resumidos generales al público sobre cómo es el uso, acceso y almacenamiento de los datos de las personas. Con respecto a los datos de dominios confidenciales, las organizaciones también deben informar las fallas o violaciones de seguridad que causaron fugas de datos.

Las herramientas y programas de gobernanza de datos pueden ayudar a las empresas a seguir las recomendaciones de la OSTP y otras mejores prácticas de privacidad de la IA. Las empresas pueden desplegar herramientas informáticas para:

• Realizar evaluaciones de riesgos de privacidad en los modelos que utilizan
• Crear paneles con información sobre activos de datos y el estado de las evaluaciones de privacidad
• Habilitar la gestión de problemas de privacidad, incluida la colaboración entre los propietarios de la privacidad y los propietarios de los datos
• Mejorar la privacidad de los datos a través de enfoques, como anonimizar los datos de entrenamiento, cifrar los datos y minimizar los datos utilizados por los algoritmos de machine learning (aprenda más aquí).

A medida que evolucionan las leyes en materia de IA y privacidad de datos, las soluciones tecnológicas emergentes pueden permitir a las empresas mantenerse al día con los cambios normativos y estar preparadas si los entes reguladores solicitan auditorías. Las soluciones de vanguardia automatizan la identificación de cambios normativos y la conversión en políticas aplicables.