O primeiro é o desvio de conceito, que ocorre quando há uma mudança entre as variáveis de input e a variável alvo, momento em que o algoritmo começa a fornecer respostas incorretas porque as definições já não são válidas. A mudança nas variáveis independentes pode ocorrer em uma variedade de períodos de tempo, que incluem:

O segundo é o desvio de dados, onde a distribuição de dados subjacente dos dados de input mudou. No varejo, as vendas de um produto podem ser impactadas pela introdução de outro novo produto ou pela retirada de um produto concorrente. Ou, se um site é inicialmente adotado por jovens, mas depois ganha aceitação de pessoas mais velhas, o modelo original baseado nos padrões de uso dos usuários mais jovens pode não ter o mesmo desempenho com a base de usuários mais velha.

O terceiro é uma alteração de dados upstream, que ocorre quando há uma alteração na cadeia de dados. Por exemplo, os dados upstream podem ser alterados para uma moeda diferente, como USD em vez de Euros, ou medidas em milhas em vez de quilômetros, ou temperaturas em Fahrenheit em vez de Celsius. Tal mudança desestabilizaria um modelo que não foi construído para contabilizar a mudança na forma como os dados foram rotulados.

A precisão de um modelo de IA pode degradar-se dentro de dias após a implementação porque os dados de produção divergem dos dados de treinamento do modelo. Isso pode levar a previsões incorretas e exposição significativa a riscos. As organizações devem usar um programa de IA e ferramentas de monitoramento que detectem automaticamente quando a precisão de um modelo diminui (ou desvia) abaixo de um limiar predefinido. Esse programa para detecção de desvio do modelo também deve rastrear quais transações causaram o desvio, permitindo que sejam etiquetadas novamente e usadas para retreinar o modelo, restaurando seu poder preditivo durante o tempo de execução.

Há duas maneiras de medir o desvio: A primeira é estatística, que usa métricas estatísticas. Isso é frequentemente mais fácil de implementar porque a maioria das métricas já está em uso dentro da empresa. A segunda é baseada em modelo. Isso mede a semelhança entre um ponto ou grupos de pontos e a linha de base de referência.

As organizações devem testar seus modelos de IA periodicamente ao longo de seu ciclo de vida. Este teste idealmente inclui:

1. Validação de modelos em pré-produção com testes para detectar viés e desvio, e então gerar relatórios de teste.
2. Transferir as configurações de teste de pré-implementação bem-sucedidas para a versão implementada do modelo e continuar com testes automatizados.
3. Sincronizar informações de modelo, dados e resultados de testes com sistemas de registro.
4. Automação que pode fornecer notificações consistentes e confiáveis e proporcionar mais tempo para as equipes se concentrarem no desenvolvimento de modelos em vez de monitoramento de modelos.

De acordo com o estudo "Total Economic Impact", da Forrester, “Ao criar, executar e gerenciar modelos em um ambiente unificado de dados e IA, [as organizações] podem garantir que os modelos de IA permaneçam justos, explicáveis e compatíveis em qualquer lugar. Essa abordagem de ponta a ponta em IA também capacita de forma única uma organização para detectar e ajudar a corrigir desvios e viés de modelos, e gerenciar o risco do modelo quando um modelo de IA está em produção.”

Uma boa prática é gerenciar todos os modelos a partir de um dashboard central. Uma abordagem integrada pode ajudar uma organização a rastrear métricas continuamente e alertar equipes sobre desvios na precisão e consistência dos dados através do desenvolvimento, validação e implementação. Uma visão centralizada e abrangente pode ajudar as organizações a quebrar silos e fornecer mais transparência em toda a linhagem de dados.

Detectar cenários de desvio e magnitude por meio de um modelo de IA que compara dados de produção e treinamento e previsões de modelos em tempo real. Dessa forma, o desvio pode ser encontrado rapidamente e o retrabalho iniciado imediatamente. Essa detecção é iterativa, assim como as operações de aprendizado de máquina (MLOps).

A análise baseada em tempo é útil para ver como o desvio evoluiu e quando ocorreu. Por exemplo, se as verificações são realizadas semanalmente, isso mostrará como o desvio evoluiu a cada dia. Analisar cronogramas também pode ser útil para determinar se o desvio foi gradual ou súbito.

Use um novo conjunto de dados de treinamento que tenha amostras mais recentes e relevantes adicionadas a ele. O objetivo é colocar seus grandes modelos de linguagem (LLM) de volta em produção de forma rápida e correta. Se treinar novamente o modelo não resolver o problema, talvez seja necessário um novo modelo.

Em vez de treinar um modelo com dados em lote, as organizações podem praticar "aprendizado on-line" ao ter seus modelos de aprendizado de máquina (ML) atualizados usando os dados do mundo real mais recentes assim que estiverem disponíveis.

Pode parecer que um modelo está desviando porque os dados usados para treiná-lo são significativamente diferentes dos dados de produção reais que serão usados. Em um caso de uso médico, se varreduras de alta resolução são usadas no treinamento, mas apenas varreduras de baixa resolução estão disponíveis no campo, então os resultados serão incorretos.