Inicio
Think
Temas
Gestión de riesgos de los modelos
Publicado: 15 de agosto de 2024
Colaboradores: Rina Caballar, Cole Stryker
La gestión del riesgo de modelos es el proceso de identificar, medir y controlar el riesgo de modelos. Los riesgos de modelos ocurren cuando se utiliza un modelo para medir y predecir información cuantitativa, pero el rendimiento del modelo no es el adecuado. Un rendimiento deficiente del modelo puede tener consecuencias perjudiciales, incluidas pérdidas financieras significativas.
Un modelo es cualquier enfoque, método o sistema cuantitativo que procesa datos de entrada y produce estimaciones cuantitativas.1 Los modelos generalmente se aplican al tomar decisiones comerciales, determinar oportunidades y riesgos comerciales, diseñar estrategias comerciales y gestionar operaciones comerciales.
Las instituciones financieras, por ejemplo, confían en una variedad de modelos para la fijación de precios, la valoración y la detección y prevención del fraude y el lavado de dinero, entre otros servicios financieros. El uso de modelos a menudo plantea riesgos, lo que hace que la gestión del riesgo de modelos (MRM) sea una consideración crucial para las compañías.
La crisis financiera mundial de 2007 a 2008, por ejemplo, se atribuyó en parte a modelos de valor en riesgo (VaR) defectuosos, que estimaban las pérdidas futuras que podrían sufrir lasinversiones2. En 2012, la debacle comercial de la "ballena de Londres" de JPMorgan Chase se saldó con 6,000 millones de dólares en pérdidas y casi 1,000 millones enmultas3. Esto se debió en parte a un error de cálculo del modelo en la hoja de cálculo, que infravaloraba elriesgo4.
En 2021, la compañía de mercado inmobiliario Zillow realizó una amortización de inventario de 304 millones de dólares y planeó recortar una cuarta parte de su plantilla tras su fallida compañía de compra de viviendas, causada en parte por la incapacidad de su modelo de valoración de precios de la vivienda para predecir con precisión los precios de las viviendas.5
Aprenda a establecer un marco de gobernanza de la IA y a adoptar soluciones de gestión de riesgos que impulsen una IA confiable, clara y explicable.
El riesgo del modelo puede tener diversas causas:
Los datos de entrada de un modelo pueden ser erróneos, incompletos, obsoletos o sesgados. Si se emplean datos obsoletos para un modelo de mercado, por ejemplo, podría proyectar tendencias sesgadas con respecto al rendimiento del mercado o los precios del mercado.
Además, si los conjuntos de datos de entrenamiento para modelos de inteligencia artificial (IA) no se evalúan para detectar la presencia de sesgos, estos modelos de IA pueden producir resultados que reflejen y perpetúen el sesgo intrínseco en los datos. Por ejemplo, los sistemas de selección de solicitantes de empleo pueden favorecer a los candidatos masculinos o más jóvenes, mientras que el software de predicción de atención médica puede mostrar sesgos raciales al priorizar a los pacientes que necesitan atención inmediata.
Los supuestos pueden ser defectuosos o poco realistas. Las variables irrelevantes, incorrectas, perdidas u omitidas o las calibraciones de variables incorrectas pueden afectar el resultado del modelo.
Por ejemplo, un modelo de precios que no tenga en cuenta la volatilidad del mercado podría producir estimaciones inexactas, mientras que los modelos de forecasting de la demanda de productos que no consideran los comportamientos de compra estacionales o las condiciones económicas actuales, como retrasos en el envío o disminución del gasto, pueden conducir a niveles de inventario mal administrados.
Mientras tanto, un modelo de predicción de atención al paciente que otorgue un mayor peso a una variable como el gasto en atención médica podría dar lugar a que el modelo discrimine a quienes tienen ingresos más bajos y, por lo tanto, gastan menos en atención médica pero tienen una mayor necesidad de acceder a ella.
La metodología elegida podría tener errores inherentes, por lo que los desarrolladores de modelos deben estar bien informados sobre el modelo y ser conscientes de sus limitaciones. Por ejemplo, los métodos estadísticos como el modelado de regresión pueden tener errores de muestreo y estándar.
Aquí también entra en juego la elección del modelo adecuado. Por ejemplo, aunque la IA generativa sea la última tecnología, puede que no sea la más adecuada para el forecasting financiero, ya que otros modelos bien establecidos pueden hacerlo con menos trabajo y menor costo.
El desarrollo incompleto o incorrecto del modelo puede dar lugar a resultados inexactos o errores del modelo. Lo mismo ocurre con los errores de programación, los errores de aproximación o cálculo y otros errores técnicos. La aplicación de atajos o simplificaciones como consecuencia de la incertidumbre y complejidad del modelo también podría afectar al resultado.
Por ejemplo, los plazos ajustados para desplegar un modelo de analytics predictivo para el rendimiento de las ventas podrían llevar al uso de fuentes de datos en tiempo real de las cifras de ventas. Sin embargo, debido a esta decisión, el modelo podría fallar con frecuencia o tardar en ejecutarse. En este caso, cambiar a una instantánea de datos diaria o semanal podría mejorar la velocidad y la estabilidad del modelo.
Las pruebas rigurosas también pueden ayudar a detectar errores durante la implementación, como el uso accidental de un formato de fecha diferente para un modelo de evaluación de reclamaciones de seguros u otra unidad de medida para un modelo de diagnóstico de atención médica, o la modificación inadvertida de la moneda de un modelo de precios.
Interpretar erróneamente el resultado de un modelo puede llevar a una toma de decisiones mal informada y a tomar el curso de acción equivocado. Aquí es donde se necesita un análisis especializado, con expertos en la materia que evalúen la solidez de los resultados de un modelo. La explicabilidad y la transparencia también son cruciales para determinar cómo un modelo llegó a sus conclusiones.
Es posible que los modelos se empleen indebidamente o que se aplique el modelo incorrecto a un escenario determinado. El diseño y las especificaciones de un modelo también pueden no ser adecuados para un caso de negocio en particular.
Por ejemplo, un modelo que ayuda a los hospitales a ordenar a los pacientes más rápido en un estado o región en particular podría no ser adecuado para un estado o región vecina debido a la variación demografía. Mientras tanto, los modelos que identifican una afección pulmonar en niños a partir de sus exploraciones de tórax podrían no ser capaces de detectar la misma afección en adultos.
Si no se gestiona, el riesgo de modelo puede causar estragos en las finanzas, las operaciones y la reputación de una organización. La gestión eficaz del riesgo de modelos requiere un marco que considere el riesgo en cada etapa del ciclo de vida de un modelo.
La gestión del riesgo de modelos también implica seguir las directrices reglamentarias. En EE.UU., por ejemplo, la Reserva Federal y la Oficina del Interventor de la Moneda (OCC) publicaron una guía de supervisión sobre la gestión del riesgo de modelos (el enlace se encuentra fuera de ibm.com), que sirve de referencia para un marco de MRM.
Estos son seis pasos comunes hacia un marco eficaz de gestión del riesgo de modelos:
1. Identificación de riesgos del modelo
La identificación de riesgos es el primer paso en la gestión de riesgos del modelo. Esto implica la realización de un inventario de modelos y la definición de los riesgos asociados a cada modelo.
2. Evaluación de riesgos del modelo
El siguiente paso es medir y evaluar el riesgo del modelo. Las compañías pueden idear un sistema de calificación que clasifique los riesgos del modelo según la prioridad, la probabilidad de ocurrencia y la gravedad de sus efectos, entre otras métricas.
Además de la medición del riesgo del modelo individual, las compañías también pueden considerar el riesgo del modelo agregado. El riesgo del modelo agregado se refiere a los riesgos que plantean las dependencias e interacciones entre diferentes tipos de modelos. Por ejemplo, los resultados de un modelo de diagnóstico de atención médica podrían incorporarse a un modelo de predicción de atención al paciente. Si el modelo de diagnóstico presenta sesgo, entonces ese sesgo podría trasladarse al modelo de predicción, afectando quién podría recibir atención urgente.
3. Mitigación del riesgo de modelos
Mitigar el riesgo requiere abordar sus fuentes y causas. Estas son algunas estrategias de mitigación de riesgos que se pueden integrar en un marco modelo de gestión de riesgos:
Auditorías y revisiones: las compañías pueden realizar sus propias auditorías internas de sus modelos o emplear expertos externos para llevar a cabo revisiones independientes.
Estándares: la creación de estándares para el proceso de modelado puede ayudar a minimizar el riesgo. Se pueden elaborar estándares para la recopilación de datos, el diseño del modelo y el proceso de desarrollo, las pruebas, la documentación y el uso del modelo.
No todos los riesgos se pueden mitigar, por lo que las compañías aún pueden estar sujetas a una cierta cantidad de exposición al riesgo. Por lo tanto, a las organizaciones les puede resultar útil establecer su apetito de riesgo. Este es el nivel de riesgo que una compañía está dispuesta y preparada a tolerar y puede asumir cuando se trata del uso de modelos.
4. Validación del modelo
El proceso de validación actúa como un desafío efectivo de un modelo para comprobar su calidad y verificar sus resultados. La validación del modelo se realiza luego de la implementación y antes del lanzamiento a los usuarios del modelo. Abarca enfoques tanto cuantitativos como cualitativos.
La validación cuantitativa del modelo incluye estas estrategias:
El backtesting es una forma de análisis de resultados que emplea datos históricos del mundo real para probar un modelo, evaluando así su precisión y efectividad.
Los modelos Challenger son modelos alternativos desarrollados para desafiar a un modelo “campeón”. Tanto el modelo de campeón como el de retador emplean los mismos datos, y sus resultados se comparan para revelar cualquier riesgo potencial u oculto.
El análisis de sensibilidad examina cómo la alteración de una variable específica bajo ciertas condiciones afecta a otras variables.
Las pruebas de estrés aplican simulaciones basadas en escenarios especulativos o teóricos para ver cómo responde un modelo.
En tanto, la validación cualitativa del modelo considera factores como la idoneidad de un modelo para su propósito y si un modelo se ajusta a las normas o cumple con las regulaciones.
5. Supervisión de modelos
El monitoreo de modelos examina continuamente los modelos para verificar si siguen funcionando según lo previsto y si siguen funcionando como se espera. Señala cualquier riesgo adicional que pueda surgir o las actualizaciones necesarias como resultado de cambios en los datos, procesos y regulaciones.
La validación del modelo suele ser parte del proceso de monitoreo continuo. En esta etapa, los reportes de monitoreo y validación son elaborados y revisados por las partes interesadas relevantes para recomendar cualquier curso de acción necesario.
6. Gobernanza del modelo
La gobernanza de modelos ofrece supervisión de todo el proceso de modelado. Establece un sistema de propiedad y control a través de políticas y procedimientos. El buen gobierno del riesgo del modelo necesita un equipo variado de tomadores de decisiones y stakeholders, desde la junta directiva y la alta dirección hasta los propietarios de modelos, desarrolladores de modelos y usuarios de modelos.
Muchos de los modelos actuales emplean IA y machine learning de alguna forma, especialmente al generar y probar modelos.
Por ejemplo, la IA se aplica comúnmente en la industria financiera para modelar el riesgo crediticio, el riesgo de mercado y el riesgo operativo. La tecnología puede ayudar a evaluar el riesgo crediticio, crear modelos de mercado y ayudar a detectar el fraude financiero y el lavado de dinero.
La IA y el machine learning también se pueden aplicar a la gestión de riesgos de modelos, especialmente durante la validación de modelos (como las pruebas de estrés de los modelos de mercado) y el monitoreo de modelos en tiempo real. Estos son algunos algoritmos y métodos comunes de machine learning empleados en la gestión del riesgo de modelos:
La agrupación en clústeres se puede implementar para el análisis de sensibilidad para descubrir anomalías que podrían indicar riesgo cuando se cambian las variables o al simular escenarios específicos.
Decision trees se pueden combinar con neural networks para monitorear los modelos comerciales, por ejemplo, alertando a los comerciantes de los cambios en los patrones subyacentes durante el comercio.
Tanto el aprendizaje profundo como el aprendizaje por refuerzo se pueden emplear para monitorear modelos en tiempo real, detectar problemas y recomendar resoluciones automáticamente.
Neural networks pueden ayudar con las pruebas de estrés, ayudando a los bancos a modelar su liquidez en condiciones económicas difíciles, como una recesión.
El software de gestión del riesgo de modelos puede ayudar a las organizaciones a gestionar el riesgo de modelos de manera más eficaz. Proporciona funciones avanzadas, como inventario de modelos y seguimiento y asignación de métricas, modelos y políticas a múltiples requisitos normativos. Otras herramientas de gestión de riesgos de modelos también permiten la gestión de modelos de IA y machine learning, con capacidades que incluyen la automatización del monitoreo y la validación de modelos.
Demuestre una gobernanza estable, informes y cumplimiento de modelos con el módulo IBM OpenPages Model Risk Governance.
Obtenga más información sobre este kit de herramientas para gobernar la IA generativa y los modelos de machine learning en una plataforma integrada.
Acelere la validación de modelos de IA, y monitoree y gestione modelos en IBM Watson Studio.
Gestione los riesgos inherentes a los cambios en las condiciones del mercado, la evolución de las regulaciones o las operaciones obstaculizadas, al tiempo que aumenta la eficacia y la eficiencia.
La gestión de riesgos de terceros (TPRM) identifica, evalúa y mitiga los riesgos asociados con la subcontratación de tareas a proveedores de servicios o proveedores de servicios de terceros.
Descubra cómo las plataformas de gobernanza, riesgo y cumplimiento (GRC) generan valor sostenible en la gestión de riesgos.
Descubra la sinergia vital de la gobernanza, el riesgo y el cumplimiento en las operaciones empresariales modernas.
Notas de pie de página
Todos los enlaces se encuentran fuera de ibm.com
1 “SR 11-7: Guidance on Model Risk Management”, Reservación Federal, 4 de abril de 2011.
2 “Causas estructurales de la crisis financiera global: una evaluación crítica de la 'nueva arquitectura financiera'”, Cambridge Journal of Economics, 1 de julio de 2009.
3 “JPMorgan fined USD 920 million in 'London Whale' trading loss”, CNN, 19 de septiembre de 2013.
4 “Model risk – daring to open up the black box”, British Actuarial Journal, diciembre de 2015.
5 “Zillow's home-buying debacle shows how hard is to use AI to value real estate”, CNN, 9 de noviembre de 2021.