Il primo è la deriva del concetto, che si verifica in occasione di una modifica tra le variabili di input e la variabile di destinazione, in quel punto l'algoritmo inizia a fornire risposte errate perché le definizioni non sono più valide. Il cambiamento nelle variabili indipendenti può avere effetto su una serie di intervalli di tempo, che sono:

Il secondo è la deriva dei dati, in cui la distribuzione dei dati sottostanti dei dati di input è cambiata. Nella vendita al dettaglio, la vendita di un prodotto potrebbe essere influenzata dall'immissione nel mercato di un altro nuovo prodotto o dal ritiro di un prodotto concorrente. Oppure, se inizialmente un sito Web viene adottato dai giovani ma poi viene accettato dalle persone più in là con l'età, il modello originale basato sui modelli di utilizzo degli utenti più giovani potrebbe non funzionare altrettanto bene con la base di utenti più in là con l'età.

Il terzo è una modifica dei dati a monte, che si verifica in caso di modifica alla pipeline dei dati. Ad esempio, i dati a monte potrebbero essere modificati in una valuta diversa, ad esempio USD e non euro, oppure misurazioni in miglia anziché chilometri o temperature in Fahrenheit anziché Celsius. Una modifica di questo tipo eliminerebbe un modello che non era stato creato per tenere conto del cambiamento nel modo in cui i dati sono stati contrassegnati.

L'accuratezza di un modello AIpuò peggiorare in pochi giornidall'implementazione in quanto i dati di produzione deviano dai dati di addestramento del modello. Ciò può portare a previsioni errate e a un'esposizione significativa al rischio. Le organizzazioni dovrebbero utilizzare strumenti di monitoraggio e un programma di AI in grado di rilevare automaticamente quando la precisione di un modello diminuisce (o si sposta) al di sotto di una soglia preimpostata. Questo programma utilizzato per rilevare la deriva del modello dovrebbe anche tenere traccia delle transazioni che hanno causato la deriva, consentendo loro di essere contrassegnate nuovamente e utilizzate per riqualificare il modello, ripristinando il suo potere predittivo durante il tempo di esecuzione.

Esistono due modi per misurare la deriva. Il primo è statistico e utilizza parametri statistici. Questo modo spesso è più facile da implementare in quanto la maggior parte delle metriche di solito sono già in uso all'interno dell'azienda. Il secondo è basato su modelli. Questo modo misura la somiglianza tra un punto o gruppi di punti rispetto alla linea di base di riferimento.

Le organizzazioni devono testare periodicamente i propri modelli AI durante l'intero ciclo di vita. Questo test idealmente include:

1. Convalida dei modelli in pre-produzione con test per rilevare distorsioni e derive, per poi generare report di prova.
2. Trasferimento delle configurazioni eseguite correttamente di test pre-implementazione di un modello alla versione implementata del modello e proseguimento dei test automatizzati.
3. Sincronizzazione di modelli, dati e informazioni sui risultati dei test con sistemi di registrazione.
4. Automazione in grado di fornire notifiche coerenti e affidabili e di dare ai team più tempo per concentrarsi sullo sviluppo del modello invece che sul suo monitoraggio.

Secondo unostudio sull'impatto economico complessivo condotto da Forrester, "Costruendo, eseguendo e gestendo modelli in un ambiente unificato di dati e AI, le organizzazioni possono essere sicure che i modelli AI rimangano equi, spiegabili e conformi ovunque. Questo approccio end-to-end all'AI consente inoltre a un'organizzazione di individuare e correggere le derive e le distorsioni del modello e di gestire il rischio del modello quando questo è in produzione."

Una best practice consiste nel gestire tutti i modelli da una dashboard centrale. Unapproccio integratopuò aiutare un'organizzazione a monitorare costantemente le metriche e avvisare i team in caso di derive in termini di accuratezza e coerenza dei dati attraverso lo sviluppo, la convalida e l'implementazione. Una visione centralizzata e olistica può aiutare le organizzazioni ad abbattere i silos e a fornire maggiore trasparenza lungo l'intera data lineage.

Rileva gli scenari di derive e l'entità attraverso un modello AI che confronta i dati di produzione e addestramento e le previsioni di modelli in tempo reale. In questo modo è possibile individuare rapidamente le derive e intervenire subito. Questo rilevamento è iterativo, proprio come leoperazioni di apprendimento automatico(MLOps) che sono iterative.

L'analisibasata sul tempo è utile per vedere come si è evoluta la deriva e quando si è verificata. Ad esempio, se i controlli vengono eseguiti ogni settimana, questo mostrerà come si è evoluta la deriva giorno dopo giorno. L'analisi dei tempi può essere utile anche per determinare se la deriva è stata graduale o improvvisa.

Utilizza un nuovo set di dati di addestramento a cui sono stati aggiunti campioni più recenti e pertinenti. L'obiettivo è quello di far rientrare rapidamente e correttamente in produzione i tuoimodelli linguistici di grandi dimensioni (LLM). Se il nuovo addestramento del modello non risolve il problema, potrebbe essere necessario un nuovo modello.

Invece di addestrare un modello con i dati in batch, le organizzazioni possono esercitarsi nell'"apprendimento online" utilizzando i proprimodelli di apprendimento automatico (ML) aggiornati utilizzando i dati del mondo reale più recenti non appena disponibili.

Può sembrare che un modello subisca una deriva in quanto i dati utilizzati per addestrarlo sono significativamente diversi dai dati di produzione effettivi che verranno utilizzati. In un caso d'uso medico, se le scansioni ad alta risoluzione vengono utilizzate durante l'addestramento e sul campo sono disponibili solo scansioni a bassa risoluzione, i risultati allora non saranno corretti.