El primero es la desviación de conceptos, que se produce cuando hay un desplazamiento entre las variables de entrada y la variable objetivo, momento en el que el algoritmo empieza a dar respuestas incorrectas porque las definiciones ya no son válidas. El cambio en las variables independientes puede tener efecto a lo largo de diversos periodos de tiempo que son:

En segundo lugar, la deriva de los datos, cuando la distribución subyacente de los datos de entrada ha cambiado. En el comercio minorista, las ventas de un producto pueden verse afectadas por la introducción de otro nuevo o la retirada de un producto competidor. O si un sitio web es adoptado primero por los jóvenes, pero luego gana aceptación entre los mayores, el modelo original basado en los patrones de uso de los usuarios más jóvenes podría no funcionar tan bien con la base de usuarios de más edad.

El tercero es un cambio de datos upstream, que se produce cuando hay un cambio en la canalización de datos. Por ejemplo, los datos upstream podrían cambiarse a una moneda diferente, como USD frente a Euros, o las mediciones en millas en lugar de kilómetros o las temperaturas en Fahrenheit en lugar de Celsius. Un cambio de este tipo desbarataría un modelo que no se hubiera construido para tener en cuenta el cambio en la forma de etiquetar los datos.

La precisión de un modelo de IA puede degradarse a los pocos días de su implementación porque los datos de producción divergen de los datos de entrenamiento del modelo. Esto puede dar lugar a predicciones incorrectas y a una importante exposición al riesgo. Las organizaciones deben utilizar un programa de IA y herramientas de monitorización que detecten automáticamente cuándo la precisión de un modelo disminuye (o deriva) por debajo de un umbral preestablecido. Este programa de detección de la desviación del modelo también debería rastrear qué transacciones causaron la desviación, lo que permitiría volver a etiquetarlas y utilizarlas para volver a entrenar el modelo, restaurando su poder predictivo durante el tiempo de ejecución.

Hay dos formas de medir la desviación. La primera es estadística, que utiliza métricas estadísticas. Esto suele ser más fácil de aplicar porque la mayoría de las métricas ya se utilizan en la empresa. La segunda se basa en modelos. Mide la similitud entre un punto o grupos de puntos frente a la línea de base de referencia.

Las organizaciones deben probar sus modelos de IA periódicamente a lo largo de su ciclo de vida. Lo ideal es que estas pruebas incluyan:

1. Validación de modelos en preproducción con pruebas para detectar sesgos y desviaciones, y posterior generación de informes de pruebas.
2. Transferencia de las configuraciones de prueba previas a la implementación de un modelo a la versión implementada del modelo y continuación de las pruebas automatizadas.
3. Sincronización de la información sobre modelos, datos y resultados de pruebas con los sistemas de registro.
4. Automatización que puede proporcionar notificaciones coherentes y fiables y dar más tiempo a los equipos para centrarse en el desarrollo de modelos en lugar de en su monitorización.

Según un estudio Total Economic Impact de Forrester: "Al crear, ejecutar y gestionar modelos en un entorno unificado de datos e IA, [las organizaciones] pueden garantizar que los modelos de IA sigan siendo justos, explicables y conformes en cualquier lugar". Este enfoque integral de la IA también capacita de forma única a una organización para detectar y ayudar a corregir la desviación y el sesgo del modelo, y gestionar el riesgo del modelo cuando un modelo de IA está en producción".  

 Una buena práctica consiste en gestionar todos los modelos desde un panel de control central. Un enfoque integrado puede ayudar a una organización a realizar un seguimiento continuo de las métricas y alertar a los equipos de los desvíos en la precisión y la coherencia de los datos a través del desarrollo, la validación y la implementación. Una visión centralizada y holística puede ayudar a las organizaciones a acabar con los silos y ofrecer más transparencia en todo el linaje de datos.

Detecte los escenarios y la magnitud de la deriva mediante un modelo de IA que compara los datos de producción y de formación y las predicciones del modelo en tiempo real. De este modo, la desviación puede detectarse rápidamente y el reciclaje puede iniciarse de inmediato. Esta detección es iterativa, al igual que lo son las operaciones de machine learning (MLOps). 

El análisis temporal es útil para ver cómo evolucionó la desviación y cuándo se produjo. Por ejemplo, si se realizan comprobaciones semanales, se verá cómo ha evolucionado la deriva cada día. Analizar las líneas temporales también puede ser útil para determinar si la deriva fue gradual o repentina.

Utilice un nuevo conjunto de datos de entrenamiento al que se hayan añadido muestras más recientes y relevantes. El objetivo es que sus grandes modelos de lenguaje (LLM) vuelvan a la producción de forma rápida y correcta. Si el reentrenamiento del modelo no resuelve el problema, puede ser necesario un nuevo modelo.

En lugar de entrenar un modelo con datos por lotes, las organizaciones pueden practicar el “aprendizaje en línea” actualizando sus modelos de machine learning (ML) en base a los datos más recientes del mundo real tan pronto como estén disponibles. 

Puede parecer que un modelo se desvía porque los datos utilizados para entrenarlo son muy diferentes de los datos de producción reales que se utilizarán. En un caso de uso médico, si se utilizan escáneres de alta resolución en la formación, pero sobre el terreno sólo se dispone de escáneres de baja resolución, los resultados serán incorrectos.