Inteligência artificial explicável (XAI) é um conjunto de processos e métodos que permite aos usuários humanos entenderem e confiarem nos resultados e saídas criadas por algoritmos de aprendizado de máquina.
A IA explicável é usada para descrever um modelo de IA, seu impacto esperado e potenciais vieses. Ela ajuda a caracterizar a precisão, justiça, transparência e resultados em tomadas de decisão alimentadas por IA. A IA explicável é crucial para uma organização na construção de confiança e segurança ao colocar modelos de IA em produção. A explicabilidade da IA também ajuda uma organização a adotar uma abordagem responsável para o desenvolvimento de IA.
À medida que a IA avança, os humanos enfrentam desafios para entender e retraçar como o algoritmo chegou a um resultado. Todo o processo de cálculo se transforma no que comumente é chamado de "caixa preta" que é impossível de interpretar. Esses modelos de caixa preta são criados diretamente a partir dos dados. E, nem mesmo os engenheiros ou cientistas de dados que criam o algoritmo conseguem entender ou explicar exatamente o que está acontecendo dentro deles ou como o algoritmo de IA chegou a um resultado específico.
Existem muitas vantagens em entender como um sistema habilitado para IA gerou um resultado específico. A explicabilidade pode ajudar os desenvolvedores a garantir que o sistema está funcionando conforme o esperado, pode ser necessário para atender aos padrões regulatórios, ou pode ser importante para permitir que aqueles afetados por uma decisão a contestem ou alterem esse resultado.¹
Saiba mais sobre as barreiras à adoção de IA, especialmente a falta de soluções de governança de IA e gerenciamento de riscos.
Leia o guia para líderes de dados
É crucial para uma organização ter um entendimento completo dos processos de tomada de decisão da IA com monitoramento de modelo e responsabilização da IA, e não confiar neles cegamente. A IA explicável pode ajudar os humanos a entender e explicar algoritmos de aprendizado de máquina (ML), deep learning e redes neurais.
Modelos de ML muitas vezes são considerados como caixas-pretas que são impossíveis de interpretar.² As redes neurais usadas no deep learning são algumas das mais difíceis para um humano entender. O viés, muitas vezes baseado em etnia, gênero, idade ou localização, tem sido um risco de longa data na formação de modelos de IA. Além disso, o desempenho do modelo de IA pode se deteriorar ou desviar porque os dados de produção diferem dos dados de treinamento. Isso torna crucial para um negócio monitorar e gerenciar continuamente os modelos para promover a explicabilidade da IA, ao mesmo tempo em que mede o impacto comercial do uso de tais algoritmos. A IA explicável também ajuda a promover a confiança do usuário final, a auditabilidade do modelo e o uso produtivo da IA.Isso também mitiga riscos de conformidade, legais, de segurança e de reputação da IA em produção.
A IA explicável é um dos requisitos-chave para implementar a IA responsável, uma metodologia para a implementação em larga escala de métodos de IA em organizações reais com justiça, explicabilidade do modelo e responsabilidade.³ Para adotar a IA de forma responsável, as organizações precisam incorporar princípios éticos nas aplicações e processos de IA, construindo sistemas baseados em confiança e transparência.
Acelere os fluxos de trabalho responsáveis, transparentes e explicáveis para IA generativa criada em plataformas de terceiros
Com a IA explicável – bem como aprendizado de máquina interpretável – as organizações podem acessar o processo decisório subjacente da tecnologia de IA e estão capacitadas para fazer ajustes. A IA explicável pode melhorar a experiência do usuário de um produto ou serviço, ajudando o usuário final a confiar que a IA está tomando boas decisões. Quando os sistemas de IA fornecem confiança suficiente na decisão para que você possa confiar nele e como o sistema de IA pode corrigir erros que surgem?⁴
À medida que a IA avança, ainda é necessário entender e controlar os processos de ML para garantir que os resultados dos modelos de IA sejam precisos. Vamos olhar para a diferença entre IA e XAI, os métodos e técnicas usados para transformar IA em XAI e a diferença entre interpretar e explicar processos de IA.
Comparando IA e XAI
Qual é exatamente a diferença entre IA "comum" e IA explicável? A XAI implementa técnicas e métodos específicos para garantir que cada decisão tomada durante o processo de ML possa ser rastreada e explicada. A IA, por outro lado, muitas vezes chega a um resultado usando um algoritmo de ML, mas os arquitetos dos sistemas de IA não entendem completamente como o algoritmo chegou a esse resultado. Isso torna difícil verificar a precisão e leva à perda de controle, responsabilidade e auditabilidade.
Técnicas de IA explicável
A configuração de técnicas de XAI consiste em três métodos principais. A precisão da previsão e a rastreabilidade lidam com requisitos tecnológicos, enquanto a compreensão da decisão lida com as necessidades humanas. A IA explicável — especialmente o aprendizado de máquina explicável — será essencial se os combatentes futuros forem entender, confiar adequadamente e gerir eficazmente uma geração emergente de parceiros de máquina com inteligência artificial.⁵
Precisão da previsão
A precisão é um componente-chave de quão bem-sucedido é o uso da IA no dia a dia. Ao executar simulações e comparar a saída da XAI com os resultados no conjunto de dados de treinamento, a precisão da previsão pode ser determinada.A técnica mais popular usada para isso é de Explicações Locais Interpretáveis Independentes de Modelo (LIME), que explica a previsão dos classificadores pelo algoritmo de ML.
Rastreabilidade
A rastreabilidade é outra técnica-chave para a realização da XAI. Ela é alcançada, por exemplo, limitando a maneira como as decisões podem ser tomadas e estabelecendo um escopo mais restrito para regras e recursos de ML. Um exemplo de uma técnica de XAI de rastreabilidade é o DeepLIFT (Deep Learning Important FeaTures), que compara a ativação de cada neurônio ao seu neurônio de referência e mostra um vínculo rastreável entre cada neurônio ativado, e até mesmo mostra dependências entre eles.
Compreensão da decisão
Este é o fator humano. Muitas pessoas têm desconfiança em relação à IA, mas para trabalhar com ela de forma eficiente, precisam aprender a confiar nela. Isso se consegue educando a equipe que trabalha com a IA para que possam entender como e por que a IA toma decisões.
Interpretabilidade é o grau em que um observador pode entender a causa de uma decisão. É a taxa de sucesso com que os humanos podem prever o resultado de uma saída de IA, enquanto a explicabilidade vai um passo além e analisa como a IA chegou ao resultado.
A IA explicável e a IA responsável têm objetivos similares, mas abordagens diferentes. Aqui estão as principais diferenças entre IA explicável e responsável:
- A IA explicável analisa os resultados da IA após eles serem computados.
- A IA responsável olha para a IA durante as etapas de planejamento para tornar o algoritmo responsável antes que os resultados sejam computados.
- IA explicável e responsável podem trabalhar juntas para criar uma IA melhor.
Com a IA explicável, uma empresa pode solucionar problemas e melhorar o desempenho do modelo, ajudando as partes interessadas a entenderem o comportamento dos modelos de IA. Investigar comportamentos de modelo através do rastreamento de insights do modelo sobre status de implantação, justiça, qualidade e deriva é essencial para a escalabilidade da IA.
A avaliação contínua do modelo capacita uma empresa a comparar previsões de modelo, quantificar riscos do modelo e otimizar o desempenho do modelo. Exibir valores positivos e negativos nos comportamentos do modelo com dados usados para gerar explicações acelera as avaliações do modelo. Uma plataforma de dados e IA pode gerar atribuições de recursos para previsões de modelos e capacitar equipes a investigar visualmente o comportamento do modelo com gráficos interativos e documentos exportáveis.
Construa confiança na IA em produção. Coloque seus modelos de IA rapidamente em produção. Garanta a interpretabilidade e explicabilidade dos modelos de IA. Simplifique o processo de avaliação de modelos, aumentando a transparência e a rastreabilidade do modelo.
Monitore e gerencie modelos de forma sistemática para otimizar resultados de negócios. Avalie e aprimore continuamente o desempenho do modelo. Afine o desenvolvimento do modelo com base em avaliações contínuas.
Mantenha seus modelos de IA explicáveis e transparentes. Gerencie requisitos regulatórios, de conformidade, de risco e outros. Minimize a sobrecarga de inspeções manuais e erros custosos. Mitigue o risco de vieses não intencionais.
Para obter resultados desejáveis com IA explicável, considere o seguinte:
Justiça e modificação de vieses: Gerencie e monitore a justiça. Examine sua implantação em busca de potenciais vieses.
Mitigação de deriva de modelo: Analise seu modelo e faça recomendações com base no resultado mais lógico. Receba alertas quando modelos desviarem dos resultados pretendidos.
Gerenciamento de risco do modelo: Quantifique e mitigue os riscos do modelo. Receba alertas quando um modelo apresentar desempenho inadequado. Entenda o que aconteceu quando desvios persistirem.
Automação do ciclo de vida: Construa, execute e gerencie modelos como parte de serviços de dados e IA integrados. Unifique as ferramentas e processos em uma plataforma para monitorar modelos e compartilhar resultados. Explique as dependências dos modelos de aprendizado de máquina.
Pronto para multinuvem: Implemente projetos de IA em nuvens híbridas, incluindo nuvens públicas, nuvens privadas e locais.Promova confiança e segurança com IA explicável.
- Saúde: Acelere diagnósticos, análise de imagens, otimização de recursos e diagnóstico médico. Melhore a transparência e rastreabilidade na tomada de decisões para o cuidado do paciente. Agilize o processo de aprovação farmacêutica com IA explicável.
- Serviços financeiros: Melhore a experiência do cliente com um processo transparente de aprovação de empréstimos e créditos. Acelere avaliações de risco de crédito, gestão de patrimônio e risco de crimes financeiros. Resolva rapidamente possíveis reclamações e problemas. Aumente a confiança em precificação, recomendações de produtos e serviços de investimento.
- Justiça criminal: Otimize processos para previsão e avaliação de riscos. Acelere resoluções usando IA explicável em análise de DNA, análise da população carcerária e previsão de crimes. Detecte potenciais vieses nos dados de treinamento e algoritmos.
IBM® watsonx.governance™ o kit de ferramentas para governança de IA permite que você direcione, gerencie e monitore as atividades de IA da sua organização, além de empregar a automação do software para fortalecer sua capacidade de mitigar riscos, gerenciar requisitos regulatórios e lidar com as questões éticas, tanto nos modelos de IA generativa quanto no aprendizado de máquina.
Modernização para automação do ciclo de vida da IA: Adicione governança e segurança aos serviços de dados e IA em praticamente qualquer lugar.
Crie e escale a IA com confiança e transparência. Crie, execute e gerencie modelos de IA com monitoramento constante para uma IA explicável.
Gerencie dados e modelos de IA com um catálogo de dados de ponta a ponta, suportado por metadados ativos e gerenciamento de políticas.
Conheça uma abordagem de três etapas para a governança em IA. Descubra insights sobre como construir sistemas de governança capazes de monitorar IA ética.
Aprenda como configurar e habilitar monitores de modelos. Use um modelo de amostra de risco de crédito para selecionar a implementação e definir o tipo de dado para registro de carga útil.
Forrester Consulting examina o retorno do investimento projetado para empresas que implementam IA explicável e monitoramento de modelo.
A Lufthansa melhora a experiência do cliente e a eficiência da companhia aérea com automação do ciclo de vida da IA e mitigação de deriva e viés.
Notas de rodapé
¹ ”IA Explicável” (link externo ao ibm.com), The Royal Society, 28 de novembro de 2019.
²”Inteligência artificial explicável” (link externo ao ibm.com), Jaime Zornoza, 15 de abril de 2020.
³ ”Inteligência Artificial Explicável (XAI): Conceitos, Taxonomia, Oportunidades e Desafios em relação à IA Responsável" (link externo ao ibm.com), " ScienceDirect, junho de 2020.
⁴”Entendendo a IA explicável” (link externo ao ibm.com), Ron Schmelzer, colaborador da Forbes, 23 de julho de 2019.
⁵ "Inteligência Artificial Explicável (XAI)" (link externo ao ibm.com), Dr. Matt Turek, Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA).