Cos'è la gestione del rischio dei modelli?

Autori

Rina Diane Caballar

Staff Writer

IBM Think

Cole Stryker

Staff Editor, AI Models

IBM Think

Cos'è la gestione del rischio dei modelli?

La gestione del rischio dei modelli è il processo di identificazione, valutazione e controllo del rischio dei modelli, che può verificarsi quando si usa un modello per prevedere e misurare informazioni quantitative che però il modello esegue in modo inadeguato. Una scarsa performance del modello può portare a conseguenze dannose, tra cui perdite finanziarie significative.

Un modello è qualsiasi approccio, metodo o sistema quantitativo che elabora i dati di input e produce stime quantitative.1 I modelli vengono generalmente applicati quando si prendono decisioni aziendali, si determinano opportunità e rischi, si elaborano strategie e si gestiscono le operazioni aziendali.

Gli istituti finanziari, ad esempio, si affidano a diversi modelli per la determinazione dei prezzi, la valutazione, l'individuazione e la prevenzione di frodi e riciclaggio di denaro, tra gli altri servizi offerti. L'uso dei modelli spesso comporta dei rischi, il che rende la gestione del rischio dei modelli (MRM) una considerazione cruciale per le aziende.

La crisi finanziaria globale del 2007-2008, per esempio, è stata in parte imputata a modelli di valore a rischio (VaR) difettosi, che stimavano le perdite future che gli investimenti avrebbero potuto subire.2 Nel 2012, la "London Whale", debacle commerciale di JPMorgan Chase, ha provocato 6 miliardi di dollari di perdite e quasi 1 miliardo di dollari di multe.3 Ciò è stato in parte dovuto a un errore del foglio di calcolo del modello, che sottostimava il rischio.4 

Nel 2021, la società di mercato immobiliare Zillow ha preso una svalutazione del magazzino di 304 milioni di dollari e ha pianificato di tagliare un quarto della sua forza lavoro in seguito al fallimento della sua impresa di acquisto di immobili, in parte causato dalla scarsa capacità del suo modello di valutazione di prevedere accuratamente i prezzi delle case.5

Le ultime notizie nel campo della tecnologia, supportate dalle analisi degli esperti

Resta al passo con le tendenze più importanti e interessanti del settore relative ad AI, automazione, dati e oltre con la newsletter Think. Leggi l' Informativa sulla privacy IBM.

Grazie per aver effettuato l'iscrizione!

L'abbonamento sarà fornito in lingua inglese. Troverai un link per annullare l'iscrizione in tutte le newsletter. Puoi gestire i tuoi abbonamenti o annullarli qui. Per ulteriori informazioni, consulta l'Informativa sulla privacy IBM.

Fonti di rischio dei modelli

Il rischio dei modelli può derivare da varie cause:

Dati

I dati di input di un modello potrebbero essere errati, incompleti, obsoleti o distorti. Se per un modello di mercato si utilizzano dati obsoleti, ad esempio, si potrebbero prevedere tendenze errate per quanto riguarda le prestazioni o i prezzi di mercato.

Inoltre, se non viene valutata la presenza di bias nei set di dati di addestramento per i modelli di intelligenza artificiale (AI), questi modelli AI produrranno risultati che riflettono e perpetuano il bias intrinseco nei dati. Ad esempio, i sistemi di screening dei candidati per una posizione di lavoro potrebbero favorire quelli maschi o più giovani, mentre i software di previsione sanitaria potrebbero mostrare pregiudizi razziali nella definizione delle priorità tra i pazienti bisognosi di cure immediate.

Ipotesi e variabili

Le ipotesi potrebbero essere errate o irrealistiche. Le variabili irrilevanti, errate, mancanti o omesse o le calibrazioni errate delle variabili possono influire sull'output del modello.

Ad esempio, un modello di prezzo che non tiene conto della volatilità del mercato produrrà stime imprecise, mentre i modelli di previsione della domanda di prodotti che non tengono conto dei comportamenti di acquisto stagionali o delle condizioni economiche attuali, come i ritardi nelle spedizioni o la diminuzione delle spese, possono portare a una cattiva gestione dei livelli di inventario.

Un modello di previsione dell'assistenza ai pazienti che attribuisce un peso maggiore a una variabile come la spesa sanitaria, invece, potrebbe far sì che il modello discrimini coloro che hanno redditi più bassi e quindi spendono meno per l'assistenza sanitaria, pur avendo maggiore necessità di accedervi.

Metodologia

La metodologia scelta può presentare errori intrinseci, quindi gli sviluppatori di modelli devono essere sempre informati sul modello e consapevoli dei suoi limiti. Ad esempio, i metodi statistici come la modellazione di regressione possono presentare errori di campionamento e standard.

È qui che entra in gioco anche la scelta del modello giusto. Ad esempio, nonostante l'AI generativa sia la tecnologia più recente, potrebbe non essere adatta alle previsioni finanziarie, in cui altri modelli più consolidati possono svolgere il loro compito con meno problemi e a costi inferiori.

Implementazione dei modelli

Lo sviluppo di un modello incompleto o errato può portare a risultati imprecisi o errori. Lo stesso vale per gli errori di programmazione, di approssimazione o di calcolo e altri errori tecnici. Anche l'applicazione di scorciatoie o semplificazioni a causa dell'incertezza e della complessità del modello può influire sul risultato finale.

Ad esempio, le tempistiche ristrette per l'implementazione di un modello di analytics predittiva per le prestazioni delle vendite potrebbero portare all'utilizzo di feed di dati in tempo reale sui numeri delle vendite. Tuttavia, a causa di questa decisione, il modello potrebbe fallire frequentemente o risultare lento. In questo caso, passare a un'istantanea dei dati giornaliera o settimanale migliorerà la sua velocità e la stabilità.

Test rigorosi aiutano a rilevare errori durante l'implementazione, come l'utilizzo accidentale di un formato di data diverso per un modello di valutazione dei sinistri assicurativi, l'uso di unità di misura differenti per un modello di diagnostica sanitaria o la modifica involontaria della valuta per un modello di determinazione dei prezzi.

Interpretazione dei risultati

Interpretare in modo errato l'output di un modello può portare a prendere decisioni disinformate e a intraprendere una linea d'azione sbagliata. È qui che si rende necessaria un'analisi da parte di esperti in grado di valutare la solidità dei risultati di un modello. Anche la spiegabilità e la trasparenza sono fondamentali per determinare il modo in cui un modello è arrivato alle sue conclusioni.

Utilizzo dei modelli

I modelli potrebbero essere utilizzati in modo improprio o il modello errato potrebbe essere applicato a un determinato scenario. Inoltre, il design e le specifiche di un modello possono non essere adatti a un particolare business case.

Ad esempio, un modello che aiuta gli ospedali a effettuare il triage dei pazienti più velocemente in un particolare stato o regione potrebbe non essere adatto per uno stato o una regione limitrofi a causa della variazione demografica. Allo stesso modo, i modelli che identificano una patologia polmonare nei bambini dalle radiografie toraciche potrebbero non essere in grado di rilevare la stessa condizione negli adulti.

La gestione del rischio di modello

Se non gestito, il rischio dei modelli può essere devastante per le finanze, le operazioni e la reputazione di un'organizzazione. Una gestione efficace del rischio dei modelli richiede un framework che consideri il rischio in ogni fase del ciclo di vita di un modello.

La gestione del rischio dei modelli implica anche il rispetto delle linee guida normative. Negli Stati Uniti, ad esempio, la Federal Reserve e l'Office of the Comptroller of the Currency (OCC) hanno rilasciato una guida di vigilanza sulla gestione del rischio dei modelli, che funge da punto di riferimento per un framework MRM.

Ecco sei passi comuni da intraprendere per creare un'efficace struttura di gestione del rischio modello:

1. Identificazione del rischio dei modelli

L'identificazione del rischio è il primo passo nella gestione del rischio dei modelli. Ciò comporta l'esecuzione di un inventario dei modelli e la definizione dei rischi associati a ciascuno di essi.

2. Valutazione del rischio dei modelli

Il passaggio successivo consiste nel misurare e valutare il rischio dei modelli. Le aziende possono elaborare un sistema di valutazione che classifica i rischi dei modelli in base alla priorità, alla probabilità di accadimento e alla gravità dei loro effetti, tra le altre metriche.

Oltre alla misurazione del rischio del singolo modello, le aziende possono considerare anche il rischio aggregato dei modelli, ovvero i rischi posti dalle dipendenze e dalle interazioni tra diversi tipi di modelli. Ad esempio, i risultati di un modello di diagnostica sanitaria potrebbero confluire in un modello di previsione dell'assistenza ai pazienti. Se il modello diagnostico contiene dei bias, questi potrebbero essere trasferiti al modello di previsione, influenzando chi può ricevere cure urgenti.

3. Mitigazione del rischio dei modelli

Per attenuare il rischio è necessario affrontarne le fonti e le cause. Ecco alcune strategie di attenuazione dei rischi che possono essere integrate in un framework di gestione del rischio di modello:

  • Audit e revisioni: le aziende possono condurre audit interni dei propri modelli o impiegare esperti terzi per effettuare revisioni indipendenti.

  • Standard: la creazione di standard per il processo di modellazione aiuta a minimizzare i rischi. È possibile creare standard per la raccolta dei dati, il processo di progettazione e sviluppo, i test, la documentazione e l'uso del modello.

Non tutti i rischi possono essere mitigati, quindi le imprese possono comunque essere parzialmente esposte a un margine di rischio. Pertanto, potrebbero trovare utile definire la propria propensione al rischio. Si tratta del livello di rischio che un'azienda è disposta e preparata a tollerare e che può assumersi quando utilizza i modelli.

4. Convalida dei modelli

Il processo di convalida è la sfida efficace di un modello per verificarne la qualità e i risultati. La convalida dei modelli viene eseguita dopo l'implementazione e prima del rilascio agli utenti, e comprende approcci sia quantitativi che qualitativi.

La convalida quantitativa dei modelli include le seguenti strategie:

  • Il backtesting è una forma di analisi dei risultati che utilizza dati storici del mondo reale per testare un modello, valutandone così l'accuratezza e l'efficacia.

  • I modelli challenger sono modelli alternativi sviluppati per sfidare un modello "campione". Sia il modello campione che quello challenger utilizzano gli stessi dati, e i loro risultati vengono confrontati per rivelare eventuali rischi, potenziali o nascosti.

  • L'analisi della sensibilità esamina come la modifica di una variabile specifica in determinate condizioni influisca sulle altre variabili.

  • Gli stress test applicano simulazioni basate su scenari speculativi o teorici per vedere come risponde un modello.

La convalida qualitativa del modello considera invece fattori come l'idoneità di un modello per il suo scopo e se un modello è conforme agli standard o alle normative.

5. Monitoraggio dei modelli

Il monitoraggio dei modelli esamina continuamente i modelli per verificare se funzionano ancora come previsto e continuano a offrire le stesse prestazioni. Individua eventuali rischi aggiuntivi che potrebbero sorgere o aggiornamenti necessari a seguito di modifiche ai dati, ai processi e alle normative.

Solitamente, la convalida del modello fa parte del processo di monitoraggio continuo. In questa fase, i rapporti di monitoraggio e convalida vengono prodotti e rivisti dalle parti interessate per raccomandare le azioni necessarie.

6. Governance dei modelli

La governance dei modelli offre la supervisione dell'intero processo di modellazione e stabilisce un sistema di proprietà e controllo attraverso politiche e procedure. Una solida governance del rischio dei modelli richiede un team variegato di decisori e stakeholder, dal consiglio di amministrazione all'alta dirigenza, dai proprietari agli sviluppatori di modelli, fino agli utenti.

AI Academy

Ascesa dell'AI generativa nel mondo del business

Scopri di più sull'ascesa dell'AI generativa e cosa comporta per le aziende.

AI per la gestione del rischio dei modelli

Molti dei modelli moderni utilizzano l'AI e il machine learning in qualche modo, in particolare durante la generazione e il test dei modelli.

Ad esempio, l'AI è comunemente applicata nel settore finanziario per modellare il rischio di credito, il rischio di mercato e il rischio operativo. La tecnologia può aiutare a valutare il rischio di credito e di prestito, a creare modelli di mercato e a rilevare frodi finanziarie e riciclaggio di denaro.

L'AI e il machine learning possono essere applicati anche alla gestione del rischio dei modelli, in particolare durante la loro convalida (come lo stress test dei modelli di mercato) e il monitoraggi in tempo reale. Di seguito sono riportati alcuni algoritmi e metodi di machine learning comunemente utilizzati nella gestione del rischio dei modelli:

  • Il clustering può essere implementato per l'analisi di sensibilità, al fine di rilevare anomalie che potrebbero indicare un rischio quando le variabili vengono modificate o quando si simulano scenari specifici.

  • Gli alberi decisionali possono essere combinati con le reti neurali per monitorare i modelli di trading, ad esempio avvisando i trader delle modifiche ai modelli sottostanti durante la loro attività.

  • Le reti neurali possono agevolare gli stress test, aiutando le banche a modellare la propria liquidità in condizioni economiche difficili, come una recessione.

Software per la gestione del rischio dei modelli

Il software di gestione del rischio dei modelli può aiutare le organizzazioni a gestire il rischio dei modelli in modo più efficace. Fornisce infatti funzionalità avanzate, come l'inventario dei modelli e il monitoraggio e la mappatura di metriche, modelli e politiche in base a molteplici requisiti normativi. Altri strumenti di gestione del rischio dei modelli supportano anche la gestione dei modelli di AI e machine learning, con funzionalità che includono l'automazione del monitoraggio e la convalida dei modelli.

Soluzioni correlate
Soluzioni per le operazioni di business

Crea un business più resiliente con le soluzioni basate sull'AI per la gestione intelligente degli asset e per la supply chain.

Esplora le soluzioni per le operazioni
Servizi di consulenza per le operazioni aziendali

Trasforma le operazioni aziendali con IBM utilizzando dati completi e potenti tecnologie basate sull'AI per integrare i processi di ottimizzazione.

Scopri i servizi per le operazioni aziendali
IBM Cloud Pak for Business Automation

IBM Cloud Pak for Business Automation è un set modulare di componenti software integrati per la gestione dell'esercizio dell'automazione.

Esplora la business automation
Fai il passo successivo

Trasforma le tue operazioni di business con soluzioni IBM all'avanguardia nel settore. Migliora la produttività, l'agilità e l'innovazione attraverso workflow intelligenti e tecnologie di automazione.

 

Esplora le soluzioni per le operazioni Esplora i servizi di intelligenza artificiale
Note a piè di pagina