¿Qué son las alucinaciones de IA?

Por lo general, si un usuario realiza una solicitud a una herramienta de IA generativa, desea un resultado que aborde adecuadamente la instrucción (es decir, una respuesta correcta a una pregunta). Sin embargo, a veces los algoritmos de IA producen outputs que no se basan en datos de entrenamiento, son decodificados incorrectamente por el transformador o no siguen ningún patrón identificable. En otras palabras, "alucina" la respuesta.

El término puede parecer paradójico, dado que las alucinaciones suelen asociarse con el cerebro humano o animal, no con las máquinas. Pero desde un punto de vista metafórico, la alucinación describe con precisión estos resultados, especialmente en el caso del reconocimiento de imágenes y patrones (donde los resultados pueden tener un aspecto verdaderamente surrealista).

Las alucinaciones de IA son similares a cómo los humanos a veces ven figuras en las nubes o caras en la luna. En el caso de la IA, estas interpretaciones erróneas se producen debido a varios factores, como el sobreajuste, el sesgo/inexactitud de los datos de entrenamiento y la alta complejidad del modelo.

La prevención de problemas con tecnologías generativas de código abierto puede resultar difícil. Algunos ejemplos notables de alucinaciones de IA incluyen:

• El chatbot Bard de Google afirmó incorrectamente que el telescopio espacial James Webb había captado las primeras imágenes del mundo de un planeta fuera de nuestro sistema solar^1.
   

• La IA de chat de Microsoft, Sydney, admite enamorarse de los usuarios y espiar a los empleados de Bing^2.
  

• Meta retiró su demo Galactica LLM en 2022, después de que proporcionara a los usuarios información inexacta, a veces basada en prejuicios^3. 

Si bien muchos de estos problemas se han abordado y resuelto desde entonces, es fácil darse cuenta de que, incluso en las mejores circunstancias, el uso de las herramientas de IA puede tener consecuencias imprevistas e indeseables.

La alucinación de la IA puede tener consecuencias significativas para las aplicaciones del mundo real. Por ejemplo, un modelo de IA sanitaria podría identificar incorrectamente una lesión cutánea benigna como maligna, lo que daría lugar a intervenciones médicas innecesarias. Los problemas de alucinaciones de la IA también pueden contribuir a la difusión de información errónea. Si, por ejemplo, los bots de noticias con alucinaciones responden a consultas sobre una emergencia en desarrollo con información que no ha sido verificada, pueden difundir rápidamente falsedades que socavan los esfuerzos de mitigación. Una fuente importante de alucinación en los algoritmos de machine learning es el sesgo de entrada. Si un modelo de IA se entrena en un conjunto de datos compuesto por datos sesgados o poco representativos, puede alucinar con patrones o características que reflejen estos sesgos.

Los modelos de IA también pueden ser vulnerables a ataques adversarios, en los que los malos actores manipulan el output de un modelo de IA ajustando sutilmente los datos de entrada. En las tareas de reconocimiento de imágenes, por ejemplo, un ataque adversario podría implicar añadir una pequeña cantidad de ruido especialmente diseñado a una imagen, lo que provocaría que la IA la clasificara erróneamente. Esto puede convertirse en un problema de seguridad importante, especialmente en áreas sensibles como la ciberseguridad y las tecnologías de vehículos autónomos. Los investigadores de IA desarrollan constantemente barreras de seguridad para proteger las herramientas de IA contra ataques adversarios. Técnicas como el entrenamiento adversarial, en el que el modelo se entrena con una mezcla de ejemplos normales y adversarios, están reforzando los problemas de seguridad. Pero mientras tanto, la vigilancia en las fases de formación y verificación de hechos es primordial.

La mejor manera de mitigar el impacto de las alucinaciones de la IA es detenerlas antes de que ocurran. Estas son algunas medidas que puede tomar para que sus modelos de IA funcionen de forma óptima:

Los modelos de IA generativa se basan en los datos de entrada para completar las tareas, por lo que la calidad y la relevancia de los conjuntos de datos de entrenamiento determinarán el comportamiento del modelo y la calidad de sus outputs. Para prevenir las alucinaciones, asegúrese de que los modelos de IA se entrenan en datos diversos, equilibrados y bien estructurados. Esto ayudará a que su modelo minimice el sesgo del output, comprenda mejor sus tareas y produzca outputs más eficaces.

La explicación detallada de cómo utilizará el modelo de IA (así como cualquier limitación en el uso del modelo) ayudará a reducir las alucinaciones. Su equipo u organización debe establecer las responsabilidades y limitaciones del sistema de IA elegido; esto ayudará al sistema a completar las tareas de manera más efectiva y minimizará los resultados irrelevantes y "alucinantes".

Las plantillas de datos proporcionan a los equipos un formato predefinido, lo que aumenta la probabilidad de que un modelo de IA genere outputs que se ajusten a las directrices prescritas. Confiar en plantillas de datos garantiza la coherencia de los outputs y reduce la probabilidad de que el modelo produzca outputs defectuosos.

Los modelos de IA suelen alucinar porque carecen de restricciones que limiten los posibles resultados. Para evitar este problema y mejorar la coherencia general y la precisión de los resultados, defina los límites de los modelos de IA utilizando herramientas de filtrado y/o umbrales probabilísticos claros.

Probar rigurosamente su modelo de IA antes de su uso es vital para prevenir las alucinaciones, al igual que evaluar el modelo de forma continua. Estos procesos mejoran el rendimiento general del sistema y permiten a los usuarios ajustar y/o volver a entrenar el modelo a medida que los datos envejecen y evolucionan.

Asegurarse de que un ser humano valida y revisa los resultados de la IA es una última medida de refuerzo para evitar las alucinaciones. La participación de la supervisión humana garantiza que, si la IA alucina, un humano estará disponible para filtrarla y corregirla. Un revisor humano también puede ofrecer experiencia en la materia que mejore su capacidad para evaluar el contenido de IA en cuanto a precisión y relevancia para la tarea.

Si bien la alucinación de la IA es ciertamente un resultado no deseado en la mayoría de los casos, también presenta una serie de casos de uso intrigantes que pueden ayudar a las organizaciones a aprovechar su potencial creativo de manera positiva. Algunos ejemplos son: