Publicado: 18 de enero de 2024
Colaborador: Jim Holdsworth
La desviación del modelo se refiere a la degradación del rendimiento del modelo debido a cambios en los datos o en los cambios en las relaciones entre las variables de entrada y de salida. La desviación del modelo—también conocida como deterioro del modelo—puede afectar negativamente el rendimiento del modelo, lo que da como resultado una toma de decisiones errónea y malas predicciones.
Para detectar y mitigar la deriva, las organizaciones pueden monitorear y administrar el rendimiento en sus plataformas de datos e inteligencia artificial. El rendimiento del modelo podría comenzar bien, pero si no se supervisa adecuadamente a lo largo del tiempo, incluso el modelo de IA mejor entrenado e imparcial puede “derivar” de sus parámetros originales y producir resultados no deseados una vez implementado.
Si el entrenamiento de un modelo de IA no se alinea con los datos entrantes, no puede interpretarlos con precisión ni utilizarlos para hacer predicciones precisas de forma confiable. Si la desviación no se detecta y mitiga rápidamente, puede desviarse aún más, aumentando el daño a las operaciones.
Los modelos creados con datos históricos pueden estancarse rápidamente. En muchos casos, siempre llegan nuevos puntos de datos—nuevas variaciones, nuevos patrones, nuevas tendencias—que los datos históricos antiguos no pueden capturar.
Conozca los obstáculos para la adopción de la IA, en particular la falta de soluciones de gobernanza y gestión de riesgos.
Regístrese para obtener la guía sobre modelos fundacionales
El mundo cambia constantemente, por lo que, con datos que cambian constantemente, los modelos utilizados para darle sentido al mundo deben revisarse y actualizarse constantemente. A continuación se presentan tres tipos de desviación del modelo que deben abordarse, cada uno con una causa diferente.
La primera es la desviación del concepto, que se produce cuando hay un cambio entre las variables de entrada y la variable objetivo, momento en el que el algoritmo comienza a proporcionar respuestas incorrectas porque las definiciones ya no son válidas. El cambio en las variables independientes puede tener efecto en una variedad de períodos que son:
La desviación del concepto se repite y retrocede con regularidad, como en el caso de la estacionalidad del comportamiento de compra en respuesta a los cambios meteorológicos. En climas invernales, las ventas de palas y sopladores de nieve suelen aumentar a finales de otoño y principios de invierno. También se deben hacer ajustes geográficos para las nevadas esperadas.
Un acontecimiento inesperado puede generar nuevos patrones de compra. Un ejemplo sería la publicidad repentina en torno a ChatGPT que crea una mayor demanda de productos de hardware y software de IA, y un impulso al valor de las acciones de las empresas relacionadas con la IA. Un modelo de pronóstico entrenado antes de que se publicaran esas noticias no podía predecir los resultados posteriores. Otro ejemplo es la llegada de la pandemia de Covid-19, que también creó un cambio repentino en el comportamiento: las ventas de juegos y equipos de ejercicio se dispararon, mientras que los restaurantes y hoteles tenían muchos menos visitantes.
Cierta desviación ocurre gradualmente o a un ritmo esperado. Por ejemplo, los spammers y los hackers han utilizado una variedad de herramientas y trucos a lo largo de los años. A medida que el software de protección y los filtros de spam han mejorado, los delincuentes han mejorado su juego en consecuencia. Cualquier IA diseñada para brindar protección para las interacciones digitales debe seguir el ritmo; un modelo estático pronto será inútil.
El segundo es la desviación de datos, donde la distribución de datos subyacente de los datos de entrada ha cambiado. En el comercio minorista, las ventas de un producto podrían verse afectadas por la introducción de otro producto nuevo o el retiro de un producto de la competencia. O si un sitio web es adoptado primero por los jóvenes, pero luego gana la aceptación de las personas mayores, es posible que el modelo original basado en los patrones de uso de los usuarios más jóvenes no funcione tan bien con la base de usuarios mayores.
El tercero es un cambio de datos ascendente, que ocurre cuando hay un cambio en la canalización de datos. Por ejemplo, los datos ascendentes podrían cambiarse a una moneda diferente, como USD frente a euros, o las mediciones en millas en lugar de kilómetros o las temperaturas en Fahrenheit en lugar de Celsius. Tal cambio descartaría un modelo que no se creó para dar cuenta del cambio en la forma en que se etiquetaron los datos.
Para que las organizaciones detecten y ayuden a corregir la desviación del modelo, deben considerar lo siguiente.
La precisión de un modelo de IA puede degradarse a los pocos días de su implementación porque los datos de producción difieren de los datos de entrenamiento del modelo. Esto puede conducir a predicciones incorrectas y a una exposición significativa al riesgo. Las organizaciones deben utilizar un programa de IA y herramientas de monitoreo que detecten automáticamente cuando la precisión de un modelo disminuye (o se desvía) por debajo de un umbral preestablecido. Este programa para detectar la desviación del modelo también debe rastrear qué transacciones causaron la desviación, lo que permite volver a etiquetarlas y utilizarlas para volver a entrenar el modelo, restaurando su poder predictivo durante el tiempo de ejecución.
Hay dos formas de medir la desviación. La primera es la estadística, que utiliza métricas estadísticas. Esto suele ser más fácil de implementar porque la mayoría de las métricas ya suelen estar en uso dentro de la empresa. El segundo está basado en modelos. Mide la similitud entre un punto o grupos de puntos y la línea base de referencia.
Las organizaciones deben probar sus modelos de IA periódicamente a lo largo de su ciclo de vida. Lo ideal es que estas pruebas incluyan:
- Validación de modelos en preproducción con pruebas para detectar sesgos y desviaciones, y posterior generación de informes de pruebas.
- Transferencia de las configuraciones de prueba previas a la implementación exitosas para un modelo a la versión implementada del modelo y pruebas automatizadas continuas.
- Sincronizar la información de modelos, datos y resultados de pruebas con sistemas de registro.
- Automatización que puede proporcionar notificaciones coherentes y confiables y proporcionar más tiempo para que los equipos se centren en el desarrollo de modelos en lugar de en la supervisión de modelos.
Según un estudio de Forrester Total Economic Impact, “Al crear, ejecutar y gestionar modelos en un entorno unificado de datos e IA, [las organizaciones] pueden garantizar que los modelos de IA sigan siendo justos, explicables y conformes en cualquier lugar. Este enfoque de IA de extremo a extremo también permite a una organización detectar y ayudar a corregir la desviación y el sesgo del modelo, y gestionar el riesgo del modelo cuando un modelo de IA está en producción”.
Una mejor práctica es gestionar todos los modelos desde un panel central. Un enfoque integrado puede ayudar a una organización a realizar un seguimiento continuo de las métricas y alertar a los equipos sobre las variaciones en la precisión y la coherencia de los datos durante el desarrollo, la validación y la implementación. Una visión centralizada y holística puede ayudar a las organizaciones a romper los silos y proporcionar más transparencia en todo el linaje de datos.
Detecte los escenarios y la magnitud de la desviación mediante un modelo de IA que compara los datos de producción y de formación y las predicciones del modelo en tiempo real. De este modo, la desviación puede detectarse rápidamente y el reciclaje puede iniciarse de inmediato. Esta detección es iterativa, igual que las operaciones de aprendizaje automático (MLOps) son iterativas.
El análisis basado en el tiempo es útil para ver cómo evolucionó la desviación y cuándo ocurrió. Por ejemplo, si las comprobaciones se realizan semanalmente, eso mostrará cómo evolucionó la desviación cada día. Analizar los plazos también puede ser útil para determinar si la desviación fue gradual o repentina.
Utilice un nuevo conjunto de datos de entrenamiento que tenga muestras más recientes y relevantes agregadas. El objetivo es que sus modelos grandes de lenguaje (LLM) vuelvan a la producción de forma rápida y correcta. Si volver a entrenar el modelo no resuelve el problema, es posible que se necesite un nuevo modelo.
En lugar de capacitar a un modelo con datos por lotes, las organizaciones pueden practicar el "aprendizaje en línea" al actualizar sus modelos de aprendizaje automático (ML) actualizados utilizando los últimos datos del mundo real tan pronto como estén disponibles.
Puede parecer que un modelo se desvía porque los datos utilizados para entrenarlo son muy diferentes de los datos de producción reales que se utilizarán. En un caso de uso médico, si se utilizan escáneres de alta resolución en el entrenamiento, pero sobre el terreno sólo se dispone de escáneres de baja resolución, los resultados serán incorrectos.
Acelere los flujos de trabajo de IA responsables, transparentes y explicables tanto para la IA generativa como para los modelos de aprendizaje automático.
Realice el seguimiento de los modelos. Reciba alertas cuando se produzca una desviación en la precisión del modelo y en la coherencia de los datos.
Obtenga una ventaja competitiva con estrategias de gobernanza de datos.
Desbloquee insights de CDO y líderes de ciencia de datos para crear una estrategia de datos confiable que acelere el crecimiento de los ingresos.
Desbloquee perspectivas de expertos sobre cómo su organización puede mejorar la calidad de los datos, el rendimiento de IA y la confianza.