Si no se gestiona, el riesgo de modelo puede causar estragos en las finanzas, las operaciones y la reputación de una organización. La gestión eficaz del riesgo de modelos requiere un marco que considere el riesgo en cada etapa del ciclo de vida de un modelo.
La gestión del riesgo de modelos también implica seguir las directrices reglamentarias. En EE.UU., por ejemplo, la Reserva Federal y la Oficina del Interventor de la Moneda (OCC) publicaron una guía de supervisión sobre la gestión del riesgo de modelos (el enlace se encuentra fuera de ibm.com), que sirve de referencia para un marco de MRM.
Estos son seis pasos comunes hacia un marco eficaz de gestión del riesgo de modelos:
1. Identificación de riesgos del modelo
La identificación de riesgos es el primer paso en la gestión de riesgos del modelo. Esto implica la realización de un inventario de modelos y la definición de los riesgos asociados a cada modelo.
2. Evaluación de riesgos del modelo
El siguiente paso es medir y evaluar el riesgo del modelo. Las compañías pueden idear un sistema de calificación que clasifique los riesgos del modelo según la prioridad, la probabilidad de ocurrencia y la gravedad de sus efectos, entre otras métricas.
Además de la medición del riesgo del modelo individual, las compañías también pueden considerar el riesgo del modelo agregado. El riesgo del modelo agregado se refiere a los riesgos que plantean las dependencias e interacciones entre diferentes tipos de modelos. Por ejemplo, los resultados de un modelo de diagnóstico de atención médica podrían incorporarse a un modelo de predicción de atención al paciente. Si el modelo de diagnóstico presenta sesgo, entonces ese sesgo podría trasladarse al modelo de predicción, afectando quién podría recibir atención urgente.
3. Mitigación del riesgo de modelos
Mitigar el riesgo requiere abordar sus fuentes y causas. Estas son algunas estrategias de mitigación de riesgos que se pueden integrar en un marco modelo de gestión de riesgos:
Estándares: la creación de estándares para el proceso de modelado puede ayudar a minimizar el riesgo. Se pueden elaborar estándares para la recopilación de datos, el diseño del modelo y el proceso de desarrollo, las pruebas, la documentación y el uso del modelo.
No todos los riesgos se pueden mitigar, por lo que las compañías aún pueden estar sujetas a una cierta cantidad de exposición al riesgo. Por lo tanto, a las organizaciones les puede resultar útil establecer su apetito de riesgo. Este es el nivel de riesgo que una compañía está dispuesta y preparada a tolerar y puede asumir cuando se trata del uso de modelos.
4. Validación del modelo
El proceso de validación actúa como un desafío efectivo de un modelo para comprobar su calidad y verificar sus resultados. La validación del modelo se realiza luego de la implementación y antes del lanzamiento a los usuarios del modelo. Abarca enfoques tanto cuantitativos como cualitativos.
La validación cuantitativa del modelo incluye estas estrategias:
En tanto, la validación cualitativa del modelo considera factores como la idoneidad de un modelo para su propósito y si un modelo se ajusta a las normas o cumple con las regulaciones.
5. Supervisión de modelos
El monitoreo de modelos examina continuamente los modelos para verificar si siguen funcionando según lo previsto y si siguen funcionando como se espera. Señala cualquier riesgo adicional que pueda surgir o las actualizaciones necesarias como resultado de cambios en los datos, procesos y regulaciones.
La validación del modelo suele ser parte del proceso de monitoreo continuo. En esta etapa, los reportes de monitoreo y validación son elaborados y revisados por las partes interesadas relevantes para recomendar cualquier curso de acción necesario.
6. Gobernanza del modelo
La gobernanza de modelos ofrece supervisión de todo el proceso de modelado. Establece un sistema de propiedad y control a través de políticas y procedimientos. El buen gobierno del riesgo del modelo necesita un equipo variado de tomadores de decisiones y stakeholders, desde la junta directiva y la alta dirección hasta los propietarios de modelos, desarrolladores de modelos y usuarios de modelos.