Início
Think
Tópicos
Gestão de riscos nos modelos
Publicado em: 15 de agosto de 2024
Colaboradores: Rina Caballar, Cole Stryker
O gerenciamento de risco do modelo é o processo de identificar, avaliar e controlar o risco do modelo. O risco de modelo ocorre quando um modelo é usado para medir e prever informações quantitativas, mas seu desempenho é inadequado. Um baixo desempenho de um modelo pode resultar em consequências graves, como perdas financeiras significativas.
Um modelo é qualquer abordagem, método ou sistema quantitativo que processa dados de input e gera estimativas numéricas.1 Modelos são normalmente aplicados ao tomar decisões empresariais, identificar oportunidades e riscos, criar estratégias de negócios e gerenciar operações empresariais.
Por exemplo, as instituições financeiras dependem de diversos modelos para precificação, avaliação e detecção e prevenção de fraudes e lavagem de dinheiro, entre outros serviços. O uso de modelos frequentemente traz riscos, tornando o gerenciamento de risco de modelos (MRM) essencial para as empresas.
Por exemplo, a crise financeira global de 2007 a 2008, foi parcialmente atribuída a modelos de valor em risco (VaR) falhos, que estimavam perdas futuras potenciais em investimentos.2Em 2012, o desastre comercial "London Whale" do JPMorgan Chase resultou em perdas de USD 6 bilhões e quase USD 1 bilhão em multas.3Esse resultado foi, em parte, causado por um erro em planilhas que calculavam o modelo, o que levou a uma subavaliação do risco.4
Em 2021, a empresa de marketplace imobiliário Zillow registrou uma baixa de estoque de 304 milhões de dólares e planejou cortar um quarto de sua força de trabalho após o fracasso em sua empreitada de compra de imóveis, causada em parte pela incapacidade de seu modelo de avaliação de preços de imóveis de prever com precisão os preços das casas.5
Saiba como estabelecer um framework de governança de IA e adotar soluções de gerenciamento de riscos que garantam uma IA transparente, confiável e compreensível.
O risco do modelo pode ter várias causas:
Os dados de input de um modelo podem estar errôneos, incompletos, desatualizados ou tendenciosos. Se um modelo de mercado for baseado em dados desatualizados, isso pode resultar em projeções equivocadas sobre o desempenho ou os preços de mercado.
Além disso, se os conjuntos de dados de treinamento para inteligência artificial (IA) não forem avaliados quanto à presença de tendências, esses modelos de IA podem gerar resultados que replicam e amplificam a tendência presente nos dados. Por exemplo, sistemas de triagem de candidatos a emprego podem favorecer homens ou candidatos mais jovens, enquanto softwares de predição em saúde podem apresentar vieses raciais ao priorizar pacientes que necessitam de cuidados imediatos.
As suposições podem estar equivocadas ou ser irreais. Variáveis irrelevantes, incorretas, faltantes ou mal calibradas podem influenciar a saída do modelo.
Por exemplo, um modelo de precificação que não considera a volatilidade do mercado pode gerar estimativas imprecisas, enquanto modelos de previsão de demanda de produtos que não levam em conta comportamentos sazonais de compra ou condições econômicas atuais, como atrasos de entrega ou queda nos gastos, podem resultar em um gerenciamento inadequado de inventários.
Por outro lado, um modelo de previsão de cuidados ao paciente que dá mais importância a variáveis como gastos com saúde pode levar à discriminação de pessoas de baixa renda, que gastam menos com cuidados médicos, mas têm maior necessidade de acesso a esses serviços.
A metodologia adotada pode apresentar erros intrínsecos, portanto, é essencial que os desenvolvedores do modelo compreendam bem seu funcionamento e conheçam suas limitações. Por exemplo, métodos estatísticos como o modelo de regressão podem apresentar erros amostrais e padrões.
É aqui também que entra a seleção do modelo certo. Por exemplo, embora a IA generativa seja a tecnologia mais recente, ela pode não ser a melhor opção para previsões financeiras, onde outros modelos já consolidados podem fazer o trabalho com menos esforço e menor custo.
O desenvolvimento incompleto ou incorreto de um modelo pode resultar em erros ou resultados imprecisos. O mesmo vale para erros de programação, falhas em aproximações ou cálculos, e outros erros técnicos. Aplicar atalhos ou simplificações devido à incerteza e complexidade do modelo também pode impactar o resultado.
Por exemplo, prazos curtos para implementar um modelo de análise preditiva de dados de desempenho de vendas podem levar ao uso de fluxos de dados em tempo real dos números de vendas. No entanto, devido a essa decisão, o modelo pode falhar com frequência ou ser lento na execução. Nesse caso, mudar para uma captura de dados diária ou semanal pode melhorar a velocidade e a estabilidade do modelo.
A realização de testes rigorosos pode detectar erros na implementação, como o uso acidental de um formato de data diferente em um modelo de avaliação de sinistros de seguros, uma unidade de medida incorreta em um modelo de diagnóstico médico ou a alteração involuntária da moeda em um modelo de precificação.
Interpretar incorretamente o resultado de um modelo pode levar a decisões mal informadas e à adoção de ações equivocadas. É nesse ponto que a análise especializada é necessária, com especialistas no assunto avaliando a validade dos resultados de um modelo. Explicabilidade e transparência também são essenciais para entender como um modelo chegou às suas conclusões.
Pode haver uso indevido de modelos ou a aplicação de um modelo inadequado para uma situação específica. As características e especificações de um modelo podem não ser compatíveis com um caso de negócio específico.
Por exemplo, um modelo que auxilia hospitais a classificar pacientes de forma mais rápida em um estado ou região pode não ser adequado para um estado ou região vizinha devido às diferenças demográficas. Por outro lado, modelos que identificam uma condição pulmonar em crianças a partir de suas radiografias de tórax podem não ser capazes de detectar a mesma condição em adultos.
Se o risco de modelo não for gerenciado, ele pode causar estragos nas finanças, operações e reputação de uma organização. Um gerenciamento eficaz de risco de modelo exige um framework que considere o risco em cada etapa do ciclo de vida do modelo.
O gerenciamento do risco do modelo também envolve o cumprimento das diretrizes regulatórias. Nos EUA, por exemplo, o Federal Reserve e o Office of the Comptroller of the Currency (OCC) divulgaram uma orientação de supervisão sobre gerenciamento de risco de modelo (link externo ao site ibm.com), que serve como referência para um framework de MRM.
Aqui estão seis etapas comuns para a construção de um framework eficaz de gerenciamento de risco de modelo:
1. Identificação de risco de modelo
Identificar os riscos é o primeiro passo no gerenciamento de risco de modelo. Isso envolve realizar um inventário dos modelos e definir os riscos associados a cada um.
2. Avaliação de risco de modelos
A próxima etapa é medir e avaliar o risco do modelo. As empresas podem desenvolver um sistema de classificação que ordena os riscos dos modelos de acordo com a prioridade, a probabilidade de ocorrência e a gravidade de seus efeitos, entre outras métricas.
Além da medição do risco de cada modelo individualmente, as empresas também podem considerar o risco agregado dos modelos. O risco agregado de modelos se refere aos riscos decorrentes das dependências e interações entre diferentes tipos de modelos. Por exemplo, os resultados de um modelo de diagnóstico médico podem impulsionar um modelo de predição de cuidados ao paciente. Se o modelo de diagnóstico apresentar tendências, essa tendência pode ser transferida para o modelo de predição, impactando quem receberá cuidados urgentes.
3. Mitigação de riscos de modelo
Reduzir o risco envolve lidar com suas fontes e causas. Aqui estão algumas estratégias de mitigação de risco que podem ser incorporadas a um framework de gerenciamento de risco de modelo:
Auditorias e revisões: as empresas podem realizar auditorias internas de seus modelos ou contratar especialistas externos para realizar avaliações independentes.
Padrões: criação de normas para o processo de modelagem contribui para reduzir riscos. Os padrões podem ser elaborados para a coleta de dados, o processo de design e desenvolvimento do modelo, testes, documentação e utilização do modelo.
Nem todos os riscos podem ser mitigados, portanto as empresas ainda podem estar expostas a algum nível de risco. Assim, as empresas podem achar vantajoso estabelecer seu nível de tolerância ao risco. Esse é o nível de risco que a empresa está disposta e preparada para tolerar ao utilizar modelos.
4. Validação do modelo
O processo de validação serve como um teste eficaz do modelo para avaliar sua qualidade e verificar seus resultados. A validação do modelo é feita após a implementação e antes de ser disponibilizado aos usuários. Ela inclui abordagens quantitativas e qualitativas.
A validação quantitativa do modelo inclui as seguintes estratégias:
Backtesting é uma forma de análise de resultados que utiliza dados históricos reais para testar um modelo, avaliando assim sua precisão e eficácia.
Os modelos Challenger são modelos alternativos desenvolvidos para desafiar um modelo “campeão”. Tanto o modelo campeão quanto o Challenger utilizam os mesmos dados, e seus resultados são comparados para identificar riscos potenciais ou ocultos.
A análise de sensibilidade examina como a alteração de uma variável específica em determinadas condições afeta outras variáveis.
O teste de estresse utiliza simulações baseadas em cenários especulativos ou teóricos para observar a resposta do modelo.
Enquanto isso, a validação qualitativa de modelos considera fatores como a adequação de um modelo ao seu propósito e se ele está em conformidade com os padrões ou regulamentos.
5. Monitoramento do modelo
O monitoramento de modelos avalia continuamente se eles ainda funcionam conforme o previsto e mantêm o desempenho esperado. Ele identifica quaisquer riscos adicionais que possam surgir ou atualizações necessárias devido a mudanças nos dados, processos e regulamentações.
A validação do modelo geralmente faz parte do processo contínuo de monitoramento. Neste estágio, relatórios de monitoramento e validação são elaborados e avaliados pelos stakeholders relevantes para recomendar ações necessárias.
6. Governança de modelo
A governança do modelo abrange o controle total do processo de modelagem. Ela estabelece um sistema de responsabilidade e controle por meio de políticas e procedimentos. Uma governança sólida de risco de modelo requer uma equipe diversificada de tomadores de decisão e stakeholders, desde o conselho de administração e a alta gestão até os proprietários de modelos, desenvolvedores e usuários de modelos.
Atualmente, diversos modelos empregam IA e aprendizado de máquina em alguma forma, principalmente na criação e avaliação de modelos.
Por exemplo, a IA é comumente aplicada no setor financeiro para modelar risco de crédito, risco de mercado e risco operacional. A tecnologia pode ajudar a avaliar risco de crédito e empréstimo, criar modelos de mercado e auxiliar na detecção de fraude financeira e lavagem de dinheiro.
IA e aprendizado de máquina também podem ser aplicados ao gerenciamento de risco de modelos, especialmente durante a validação do modelo (como testes de estresse em modelos de mercado) e monitoramento em tempo real. Veja alguns algoritmos e métodos de aprendizado de máquina frequentemente utilizados no gerenciamento de riscos de modelos:
O Clustering pode ser utilizado na análise de sensibilidade para descobrir anomalias que possam indicar risco quando variáveis são alteradas ou ao simular cenários específicos.
Decision trees podem ser combinadas com redes neurais para monitorar modelos de negociação, por exemplo, notificando os traders sobre mudanças em padrões durante as operações.
Tanto o deep learning quanto o aprendizado por reforço podem ser utilizados no monitoramento em tempo real de modelos, detectando problemas e recomendando soluções automaticamente.
As redes neurais podem auxiliar no teste de estresse, ajudando bancos a modelar sua liquidez em condições econômicas desafiadoras, como uma recessão.
O software de gerenciamento de risco de modelos pode ajudar as organizações a gerenciar o risco de modelos de forma mais eficaz. Ele oferece recursos avançados, como inventário e rastreamento de modelos, além de mapear métricas, modelos e políticas para múltiplos requisitos regulatórios. Outras ferramentas de gerenciamento de risco de modelos também possibilitam o gerenciamento de modelos de IA e aprendizado de máquina, com recursos que incluem automação do monitoramento e validação de modelos.
Mostre uma governança robusta de modelos, relatórios e conformidade usando o módulo IBM OpenPages Model Risk Governance.
Saiba mais sobre este toolkit para controlar modelos de IA generativa e aprendizado de máquina em uma única plataforma integrada.
Acelere a validação de modelos de IA e monitore e gerencie modelos no IBM Watson Studio.
Gerencie o risco de mudanças nas condições de mercado, regulamentações em evolução ou operações oneradas enquanto aumenta a eficácia e a eficiência.
O gerenciamento de risco de terceiros (TPRM) identifica, avalia e mitiga riscos associados à terceirização de tarefas para fornecedores ou prestadores de serviços externos.
Descubra como as plataformas de governança, risco e conformidade (GRC) geram valor sustentável no gerenciamento de riscos.
Descubra a sinergia vital entre governança, risco e conformidade nas operações empresariais modernas.
Notas de rodapé
Todos os links levam para fora do site ibm.com
1 "SR 11-7: Guidance on Model Risk Management", Federal Reserve, 4 de abril de 2011.
2 "Structural causes of the global financialcrisis: a critic Assessment of the 'new financial Architecture', Cambridge Journal of Economics, 1 de julho de 2009.
3 “JPMorgan fined USD 920 million in 'London Whale' trading loss”, CNN, 19 de setembro de 2013.
4 “Model risk – daring to open up the black box”, British Actuarial Journal, dezembro de 2015.
5 “Zillow’s home-buying debacle shows how hard it is to use AI to value real estate”, CNN, 9 de novembro de 2021.