Se o risco de modelo não for gerenciado, ele pode causar estragos nas finanças, operações e reputação de uma organização. Um gerenciamento eficaz de risco de modelo exige um framework que considere o risco em cada etapa do ciclo de vida do modelo.
O gerenciamento do risco do modelo também envolve o cumprimento das diretrizes regulatórias. Nos EUA, por exemplo, o Federal Reserve e o Office of the Comptroller of the Currency (OCC) divulgaram uma orientação de supervisão sobre gerenciamento de risco de modelo (link externo ao site ibm.com), que serve como referência para um framework de MRM.
Aqui estão seis etapas comuns para a construção de um framework eficaz de gerenciamento de risco de modelo:
1. Identificação de risco de modelo
Identificar os riscos é o primeiro passo no gerenciamento de risco de modelo. Isso envolve realizar um inventário dos modelos e definir os riscos associados a cada um.
2. Avaliação de risco de modelos
A próxima etapa é medir e avaliar o risco do modelo. As empresas podem desenvolver um sistema de classificação que ordena os riscos dos modelos de acordo com a prioridade, a probabilidade de ocorrência e a gravidade de seus efeitos, entre outras métricas.
Além da medição do risco de cada modelo individualmente, as empresas também podem considerar o risco agregado dos modelos. O risco agregado de modelos se refere aos riscos decorrentes das dependências e interações entre diferentes tipos de modelos. Por exemplo, os resultados de um modelo de diagnóstico médico podem impulsionar um modelo de predição de cuidados ao paciente. Se o modelo de diagnóstico apresentar tendências, essa tendência pode ser transferida para o modelo de predição, impactando quem receberá cuidados urgentes.
3. Mitigação de riscos de modelo
Reduzir o risco envolve lidar com suas fontes e causas. Aqui estão algumas estratégias de mitigação de risco que podem ser incorporadas a um framework de gerenciamento de risco de modelo:
Padrões: criação de normas para o processo de modelagem contribui para reduzir riscos. Os padrões podem ser elaborados para a coleta de dados, o processo de design e desenvolvimento do modelo, testes, documentação e utilização do modelo.
Nem todos os riscos podem ser mitigados, portanto as empresas ainda podem estar expostas a algum nível de risco. Assim, as empresas podem achar vantajoso estabelecer seu nível de tolerância ao risco. Esse é o nível de risco que a empresa está disposta e preparada para tolerar ao utilizar modelos.
4. Validação do modelo
O processo de validação serve como um teste eficaz do modelo para avaliar sua qualidade e verificar seus resultados. A validação do modelo é feita após a implementação e antes de ser disponibilizado aos usuários. Ela inclui abordagens quantitativas e qualitativas.
A validação quantitativa do modelo inclui as seguintes estratégias:
Enquanto isso, a validação qualitativa de modelos considera fatores como a adequação de um modelo ao seu propósito e se ele está em conformidade com os padrões ou regulamentos.
5. Monitoramento do modelo
O monitoramento de modelos avalia continuamente se eles ainda funcionam conforme o previsto e mantêm o desempenho esperado. Ele identifica quaisquer riscos adicionais que possam surgir ou atualizações necessárias devido a mudanças nos dados, processos e regulamentações.
A validação do modelo geralmente faz parte do processo contínuo de monitoramento. Neste estágio, relatórios de monitoramento e validação são elaborados e avaliados pelos stakeholders relevantes para recomendar ações necessárias.
6. Governança de modelo
A governança do modelo abrange o controle total do processo de modelagem. Ela estabelece um sistema de responsabilidade e controle por meio de políticas e procedimentos. Uma governança sólida de risco de modelo requer uma equipe diversificada de tomadores de decisão e stakeholders, desde o conselho de administração e a alta gestão até os proprietários de modelos, desenvolvedores e usuários de modelos.