Accueil
Think
Thèmes
Gestion des risques liés aux modèles
Date de publication : 15 août 2024
Contributeurs : Rina Caballar, Cole Stryker
La gestion des risques liés aux modèles est le processus d’identification, d’évaluation et de contrôle des risques liés aux modèles. Un modèle présente des risques lorsqu’il est utilisé pour mesurer et prédire des informations quantitatives et qu’il fonctionne de manière inadéquate. Une mauvaise performance du modèle peut avoir des conséquences néfastes, notamment des pertes financières importantes.
Un modèle est une approche, une méthode ou un système quantitatif qui traite les données d’entrée et produit des estimations quantitatives.1 Les modèles sont généralement appliqués pour prendre des décisions stratégiques, déterminer les opportunités d’affaires et les risques, élaborer des stratégies et gérer les opérations de l’entreprise.
Les institutions financières, par exemple, s’appuient sur une gamme de modèles pour la tarification, l’évaluation, la détection et la prévention de la fraude et du blanchiment d’argent, entre autres services financiers. Cependant, l’utilisation de modèles ne va pas sans risques. C’est pourquoi la gestion du risque de modèle (MRM) est un sujet crucial pour les entreprises.
La crise financière mondiale de 2007-2008, par exemple, a été en partie attribuée à des modèles de valeur à risque (VaR) erronés, qui estimaient les pertes futures que les investissements pourraient subir.2 En 2012, la débâcle de la banque JPMorgan Chase, la « baleine de Londres », s’est chiffrée par une perte de quelque 6 milliards de dollars et près d’un milliard de dollars d’amendes.3 Cette situation a été due en partie à une erreur de tableur dans les calculs du modèle, qui a entraîné une sous-estimation du risque.4
En 2021, la société de marché immobilier Zillow a enregistré une dépréciation de ses stocks de 304 millions de dollars et a prévu de réduire d’un quart ses effectifs après l’échec de son projet d’achat de logements, en partie dû à l’incapacité de son modèle d’évaluation des prix à prédire avec précision les prix des logements.5
Découvrez comment établir un cadre de gouvernance de l’IA et adopter des solutions de gestion des risques qui favorisent une IA fiable, claire et explicable.
Le risque de modèle peut avoir diverses origines :
Les données d’entrée du modèle peuvent être erronées, incomplètes, obsolètes ou biaisées. Par exemple, si des données obsolètes sont utilisées pour un modèle censé prédire la performance ou les prix du marché, les tendances projetées peuvent être faussées.
En outre, si les jeux de données utilisés pour l’entraînement des modèles d’intelligence artificielle (IA) ne sont pas évalués pour détecter la présence de biais, ces modèles d’IA sont susceptibles de produire des résultats qui reflètent et perpétuent le biais intrinsèque aux données. Par exemple, les systèmes de sélection des candidats à une offre d’emploi peuvent favoriser les personnes de sexe masculin ou plus jeunes, tandis que les logiciels prédictifs utilisés en médecine peuvent opérer une discrimination raciale lors de la priorisation des patients ayant besoin de soins immédiats.
Les hypothèses peuvent être erronées ou irréalistes. Les variables non pertinentes, erronées, ignorées ou omises, ou encore les calibrages de variables incorrects peuvent affecter les résultats du modèle.
Par exemple, un modèle de tarification qui ne tient pas compte de la volatilité du marché peut produire des estimations inexactes. Les modèles de prévision de la demande de produits qui ne tiennent pas compte des comportements d’achat saisonnier, ni des conditions économiques actuelles comme les retards de livraison ou la diminution des dépenses, peuvent entraîner une mauvaise gestion des stocks.
Par ailleurs, si un modèle prédictif utilisé en médecine accorde plus d’importance à une variable comme les dépenses de santé, il est susceptible d’opérer une discrimination à l’égard des personnes dont les revenus sont plus faibles et qui dépensent moins dans les soins, alors qu’elles ont davantage besoin d’y accéder.
La méthodologie choisie peut comporter des erreurs inhérentes, c’est pourquoi les développeurs doivent donc bien connaître le modèle et ses limites. Par exemple, les méthodes statistiques telles que la modélisation de régression peuvent comporter des erreurs d’échantillonnage et des erreurs types.
C’est également ici qu’intervient le choix du bon modèle. Par exemple, même si l’IA générative est la technologie la plus récente, elle n’est peut-être pas adaptée aux prévisions financières, alors que d’autres modèles bien établis peuvent le faire pour moins de travail et à moindre coût.
Un développement de modèle incomplet ou incorrect peut générer des résultats inexacts ou des erreurs de modèle. Il en va de même pour les erreurs de programmation, les erreurs d’approximation ou de calcul et autres erreurs techniques. L’utilisation de raccourcis ou de simplifications en raison de l’incertitude et de la complexité des modèles peut également affecter le résultat.
Par exemple, les délais serrés pour déployer un modèle d’analyse prédictive des performances de vente peuvent conduire à utiliser des flux de données en temps réel sur les chiffres de vente. Cependant, cette décision peut faire échouer le modèle fréquemment ou ralentir son exécution. Dans ce cas, le passage à un instantané de données quotidien ou hebdomadaire peut améliorer la vitesse et la stabilité du modèle.
Des tests rigoureux peuvent aussi permettre de détecter des erreurs lors de l’implémentation, comme l’utilisation accidentelle d’un format de date différent pour un modèle d’évaluation des demandes d’indemnisation ou d’une autre unité de mesure pour un modèle de diagnostic médical, ou encore la modification par inadvertance de la devise d’un modèle de tarification.
Une mauvaise interprétation des sorties du modèle peut conduire à une prise de décision mal informée et à une mauvaise ligne de conduite. C’est là que le savoir-faire des experts en la matière est requis pour évaluer la solidité des résultats du modèle. L’explicabilité et la transparence sont également essentielles pour déterminer la manière dont le modèle est parvenu à ses conclusions.
Les modèles peuvent être utilisés à mauvais escient ou le mauvais modèle peut être appliqué à un certain scénario. La conception et les spécifications d’un modèle peuvent également ne pas convenir à un cas d’utilisation métier particulier.
Par exemple, un modèle qui aide les hôpitaux à trier plus rapidement les patients dans un État ou une région particulière ne va peut-être pas convenir à un État ou une région voisine en raison de différences démographiques. De même, les modèles qui détectent une affection pulmonaire chez les enfants à partir de leurs scanners thoraciques peuvent ne pas être en mesure de détecter la même affection chez les adultes.
Non gérés, les risques liés aux modèles peuvent avoir des conséquences désastreuses sur les finances, les opérations et la réputation de l’entreprise. Pour être efficace, la gestion des risques liés aux modèles nécessite un cadre qui prenne en compte les risques à chaque étape du cycle de vie du modèle.
La gestion du risque de modèle implique également le respect des directives réglementaires. Aux États-Unis, par exemple, la Réserve fédérale et l’Office of the Comptroller of the Currency (OCC) ont publié des orientations de surveillance sur la gestion du risque de modèle (lien externe à ibm.com), qui servent de référence pour un cadre MRM.
Voici six étapes courantes d’élaboration d’un cadre efficace de gestion du risque de modèle :
1. Identification des risques liés aux modèles
L’identification des risques est la première étape de la gestion du risque de modèle. Il s’agit de réaliser un inventaire des modèles et de définir les risques associés à chacun d’entre eux.
2. Évaluation des risques liés aux modèles
L’étape suivante consiste à mesurer et à évaluer les risques liés aux modèles. L’entreprise peut mettre au point un système d’évaluation qui classe les risques selon des critères comme la priorité, la probabilité et la gravité.
Outre la mesure du risque de modèle individuel, les entreprises peuvent également prendre en compte les risques agrégés. Le risque de modèle global fait référence aux risques liés aux dépendances et aux interactions entre différents types de modèles. Par exemple, les résultats d’un modèle de diagnostic médical peuvent être intégrés à un modèle de prédiction de traitement des patients. Si le modèle de diagnostic est biaisé, ce biais peut se répercuter sur le modèle de prédiction, affectant ainsi les personnes susceptibles de recevoir des soins urgents.
3. Atténuation des risques liés aux modèles
Pour atténuer le risque, il convient de s’attaquer à ses sources et à ses causes. Voici quelques stratégies d’atténuation des risques qui peuvent être intégrées dans un cadre de gestion du risque de modèle :
Audits et examens : les entreprises peuvent réaliser des audits sur leurs modèles en interne, ou faire appel à des experts indépendants.
Normes : élaborer des normes pour le processus de modélisation permet de réduire les risques. On peut élaborer des normes pour la collecte de données, la conception et le développement des modèles, les tests, la documentation et l’utilisation des modèles.
Tous les risques ne peuvent pas être atténués, de sorte que les entreprises sont toujours soumises à un certain degré d’exposition au risque. C’est pourquoi il peut leur être utile de définir leur appétit pour le risque. Il s’agit du niveau de risque qu’une entreprise est prête à tolérer et peut assumer lorsqu’elle utilise des modèles.
4. Validation du modèle
Le processus de validation soumet un modèle à une série de problèmes pour vérifier sa qualité et ses résultats. La validation du modèle intervient après son implémentation et avant sa diffusion aux utilisateurs. La procédure englobe à la fois des approches quantitatives et qualitatives.
La validation des modèles quantitatifs comprend les stratégies suivantes :
Le backtesting est une forme d’analyse des résultats qui utilise des données historiques réelles pour tester un modèle et évaluer ainsi sa précision et son efficacité.
Les modèles challenger sont des modèles alternatifs développés pour défier un modèle « champion ». Les modèles champion et challenger utilisent les mêmes données, et leurs résultats sont comparés pour détecter les risques potentiels ou cachés.
L’analyse de sensibilité vise à déterminer la manière dont la modification d’une variable donnée dans certaines conditions affecte les autres variables.
Les tests de charge appliquent des simulations basées sur des scénarios hypothétiques ou théoriques afin de voir comment un modèle réagit.
La validation qualitative des modèles prend en compte des facteurs tels que leur adéquation à leur objectif, ainsi que leur conformité aux normes ou aux réglementations en vigueur.
5. Surveillance des modèles
La surveillance des modèles consiste à examiner en permanence les modèles pour vérifier s’ils fonctionnent toujours comme prévu et si leur niveau de performance reste satisfaisant. Cette pratique permet d’identifier tout autre risque susceptible de survenir ou encore les mises à jour nécessaires à la suite de modifications apportées aux données, aux processus ou aux réglementations.
La validation des modèles fait généralement partie du processus de surveillance continue. À ce stade, des rapports de suivi et de validation sont produits et examinés par les parties prenantes concernées afin de recommander les mesures nécessaires.
6. Gouvernance des modèles
La gouvernance des modèles permet de superviser l’ensemble du processus de modélisation. Elle établit un système de propriété et de contrôle au moyen de politiques et de procédures. Une bonne gouvernance des risques liés aux modèles nécessite une équipe variée de décideurs et de parties prenantes, allant du conseil d’administration à la direction générale en passant par les propriétaires, les développeurs et les utilisateurs de modèles.
De nombreux modèles actuels utilisent l’IA et le machine learning sous une forme ou une autre, en particulier lors de la génération et des tests des modèles.
Par exemple, l’IA est couramment appliquée dans le secteur financier pour modéliser le risque de crédit, le risque de marché et le risque opérationnel. La technologie peut effectivement aider à évaluer les risques de crédit et de prêt, à créer des modèles de marché et à détecter la fraude financière et le blanchiment d’argent.
L’IA et le machine learning peuvent également être appliqués à la gestion du risque de modèle, en particulier lors de la validation des modèles (comme les tests de résistance des modèles de marché) et la surveillance des modèles en temps réel. Voici quelques algorithmes et méthodes de machine learning couramment utilisés dans la gestion du risque de modèle :
Le clustering peut être mis en œuvre pour l’analyse de la sensibilité afin de découvrir des anomalies susceptibles d’indiquer un risque lorsque les variables sont modifiées ou lors de la simulation de scénarios spécifiques.
Les decision trees peuvent être combinés avec les réseaux neuronaux pour surveiller les modèles de trading, par exemple en alertant les négociateurs des changements apportés aux modèles sous-jacents pendant les transactions.
L’apprentissage profond et l’apprentissage par renforcement peuvent tous deux être utilisés pour surveiller les modèles en temps réel, détecter les problèmes et recommander des solutions automatiquement.
Les réseaux neuronaux peuvent faciliter les procédures de tests de résistance des banques en les aidant à modéliser leurs liquidités lors de conditions économiques difficiles comme une récession.
Les logiciels de gestion du risque de modèle aident les entreprises à gérer ce risque de manière plus efficace. Ils fournissent des fonctionnalités avancées, telles que l’inventaire des modèles, le suivi et la concordance des indicateurs, des modèles et des politiques avec les différentes exigences réglementaires. D’autres outils de gestion du risque de modèle permettent également de gérer les modèles d’IA et de machine learning et intègrent des fonctionnalités telles que l’automatisation de la surveillance et de la validation des modèles.
Démontrez la rigueur de vos pratiques de gouvernance, de reporting et de conformité des modèles avec le module IBM OpenPages Model Risk Governance.
Apprenez-en davantage sur cet ensemble d’outils dédié à la gouvernance des modèles d’IA générative et de machine learning (ML) sur une plateforme unique intégrée.
Accélérez la validation des modèles d’IA, et contrôlez et gérez les modèles dans IBM Watson Studio.
Gérez les risques liés à l’évolution des conditions du marché, aux nouvelles réglementations et aux opérations complexes tout en améliorant l’efficacité.
La gestion des risques liés aux tiers (TPRM) permet d’identifier, d’évaluer et d’atténuer les risques associés à l’externalisation des tâches.
Découvrez comment les plateformes de gouvernance, risques et conformité (GRC) génèrent une valeur durable dans la gestion des risques.
Découvrez la synergie vitale entre gouvernance, risque et conformité dans les opérations métier modernes.
Notes de bas de page
Tous les liens sont externes au site ibm.com
1 « SR 11-7: Guidance on Model Risk Management », Federal Reserve, 4 avril 2011.
2 « Structural causes of the global financial crisis : a critical assessment of the ‘new financial architecture’ », Cambridge Journal of Economics, 1er juillet 2009.
3 « JPMorgan fined USD 920 million in London Whale trading loss », CNN, 19 septembre 2013.
4 « Model risk – daring to open up the black box », British Actuarial Journal, décembre 2015.
5 « Zillow’s home-buying debacle shows how hard it is to use AI to value real estate », CNN, 9 novembre 2021.