Publicado em: 28 de novembro de 2023
Colaboradores: Tim Mucci, Cole Stryker
A governança de inteligência artificial (IA) refere-se às proteções que garantem que as ferramentas e os sistemas de IA sejam e permaneçam seguros e éticos. Ela estabelece os frameworks, regras e normas que direcionam a pesquisa, o desenvolvimento e a aplicação da IA para garantir a segurança, a justiça e o respeito pelos direitos humanos.
A governança de IA engloba mecanismos de supervisão que lidam com riscos como viés, violação de privacidade e uso indevido, ao mesmo tempo em que promovem a inovação e a confiança. Uma abordagem ética centrada na IA para a governança da IA exige o envolvimento de uma ampla gama de stakeholders, incluindo desenvolvedores de IA, usuários, formuladores de políticas e especialistas em ética, garantindo que os sistemas relacionados à IA sejam desenvolvidos e usados para se alinharem aos valores da sociedade.
A governança da IA lida com as falhas inerentes decorrentes do elemento humano na criação e manutenção da IA. Como a IA é um produto de códigos altamente projetados e aprendizado de máquina criado por pessoas, ela é suscetível a vieses e erros humanos. A governança oferece uma abordagem estruturada para mitigar esses riscos, garantindo que os algoritmos de aprendizado de máquina sejam monitorados, avaliados e atualizados para evitar decisões erradas ou prejudiciais.
As soluções de IA devem ser desenvolvidas e usadas de forma responsável e ética. Isso significa lidar com os riscos associados à IA: viés, discriminação e danos aos indivíduos. A governança lida com esses riscos por meio de políticas sólidas de IA, regulamentações, governança de dados e conjuntos de dados bem treinados e mantidos.
A governança tem como objetivo estabelecer a supervisão necessária para alinhar os comportamentos de IA com os padrões éticos e as expectativas da sociedade e para proteger contra possíveis impactos adversos.
Descubra como o watsonx.governance fortalece sua capacidade de mitigar riscos, gerenciar requisitos regulatórios e lidar com preocupações éticas.
Governança da IA: garantir que sua IA seja transparente, compatível e confiável
IBM AI Governance: automatize a governança para fornecer uma IA responsável, transparente e explicável
A governança de IA é essencial para alcançar um estado de conformidade, confiança e eficiência no desenvolvimento e aplicação de tecnologias de IA. Com a crescente integração da IA nas operações organizacionais e governamentais, seu potencial de impacto negativo tornou-se mais visível. Erros de alto nível, como o incidente com o chatbot Tay (link fora de ibm.com), onde um chatbot de IA da Microsoft aprendeu comportamentos tóxicos a partir de interações públicas nas redes sociais e as decisões de sentenças enviesadas do software COMPAS (link fora de ibm.com), destacaram a necessidade de uma governança sólida para evitar danos e manter a confiança pública.
Esses casos mostram que, sem a supervisão adequada, a IA pode causar danos sociais e éticos significativos, enfatizando a importância da governança no gerenciamento dos riscos associados à IA avançada. Ao fornecer diretrizes e frameworks, a governança de IA visa equilibrar inovação tecnológica com a segurança, garantindo que os sistemas de IA não violem a dignidade ou os direitos humanos.
A tomada de decisões transparente e a explicabilidade são críticos para garantir que os sistemas de IA sejam usados de forma responsável. Os sistemas de IA tomam decisões o tempo todo, desde decidir quais anúncios mostrar até determinar se um empréstimo deve ser aprovado. É fundamental entender como os sistemas de IA tomam decisões para responsabilizá-los por suas decisões e garantir que as tomem de forma justa e ética.
Além disso, a governança de IA não se trata apenas de garantir uma conformidade única; também se trata de manter padrões éticos ao longo do tempo. Os modelos de IA podem variar, levando a mudanças na qualidade e na confiabilidade de outputs. As tendências atuais em governança estão indo além da simples conformidade legal para garantir a responsabilidade social da IA, protegendo assim contra danos financeiros, legais e de reputação, enquanto promovem o crescimento responsável da tecnologia.
Exemplos de governança de IA abrangem uma série de políticas, frameworks e práticas que organizações e governos implementam para garantir o uso responsável de tecnologias de IA. Esses exemplos demonstram como a governança de IA acontece em diferentes contextos:
O Regulamento Geral sobre a Proteção de Dados (GDPR): um exemplo de governança de IA, especialmente no contexto de proteção e privacidade de dados pessoais. Embora o GDPR não se concentre exclusivamente na IA, muitas de suas disposições são altamente relevantes para os sistemas de IA, especialmente aqueles que processam os dados pessoais de indivíduos na União Europeia.
A Organização para a Cooperação e Desenvolvimento Econômico (OCDE): princípios de IA, adotados por mais de 40 países, enfatizam a administração responsável da IA confiável, incluindo transparência, justiça e responsabilidade nos sistemas de IA.
Conselhos corporativos de ética de IA: muitas empresas estabeleceram conselhos ou comitês de ética para supervisionar iniciativas de IA, garantindo que se alinhem aos padrões éticos e aos valores sociais. Por exemplo, a IBM lançou um Conselho de Ética em IA para analisar novos produtos e serviços de IA e garantir que eles estejam alinhados aos princípios de IA da IBM. Esses conselhos geralmente incluem equipes multifuncionais com formação jurídica, técnica e política.
Em uma organização de nível empresarial, o CEO e a liderança sênior são os principais responsáveis por garantir que a organização aplique uma boa governança de IA ao longo do ciclo de vida da IA. O departamento jurídico e o conselho geral são fundamentais na avaliação e mitigação dos riscos legais, garantindo que as aplicações de IA estejam em conformidade com as leis e regulamentações relevantes. As equipes de auditoria são fundamentais para validar a integridade dos dados dos sistemas de IA e confirmar que os sistemas estão operando como pretendido, sem introduzir erros ou vieses. O CFO supervisiona as implicações financeiras, gerenciando os custos associados às iniciativas de IA e mitigando quaisquer riscos financeiros.
No entanto, a responsabilidade pela governança de IA não cabe a uma única pessoa ou departamento; é uma responsabilidade coletiva em que cada líder deve priorizar a responsabilidade e garantir que os sistemas de IA sejam usados de forma responsável e ética em toda a organização. O CEO e a liderança sênior são responsáveis por definir o tom geral e a cultura da organização. Ao priorizar a governança de IA responsável, a organização envia a todos os funcionários uma mensagem clara de que todos devem usar a IA de forma responsável e ética. O CEO e a liderança sênior também podem investir no treinamento de governança de IA dos funcionários, desenvolver ativamente políticas e procedimentos internos e criar uma cultura de comunicação aberta e colaboração.
A governança de IA é essencial para gerenciar os rápidos avanços na tecnologia de IA, especialmente com o surgimento da IA generativa. A IA generativa, que inclui tecnologias capazes de criar novos conteúdos e soluções, como texto, imagens e código, tem um grande potencial em muitos casos de uso. Desde o aprimoramento dos processos criativos em design e mídia até a automatização de tarefas no desenvolvimento de software, a IA generativa está transformando a forma como os setores operam. No entanto, com sua ampla aplicabilidade, surge a necessidade de uma governança robusta de IA.
Os princípios da governança de IA responsável são essenciais para que as organizações protejam a si mesmas e aos seus clientes. Os princípios a seguir podem orientar as organizações no desenvolvimento ético e na aplicação de tecnologias de IA, que incluem:
Empatia: as organizações devem entender as implicações sociais da IA, não apenas os aspectos tecnológicos e financeiros. Elas precisam prever e lidar com o impacto da IA em todos os stakeholders.
Controle de viés: é fundamental examinar rigorosamente os dados de treinamento para evitar a incorporação de vieses do mundo real nos algoritmos de IA, garantindo decisões justas e imparciais.
Transparência: deve haver clareza e abertura na forma como os algoritmos de IA operam e tomam decisões, com as organizações prontas para explicar a lógica e o raciocínio por trás dos resultados orientados por IA.
Responsabilidade: as organizações devem definir e aderir proativamente a altos padrões para gerenciar as mudanças significativas que a IA pode trazer, mantendo a responsabilidade pelos impactos da IA.
No final de 2023, a Casa Branca emitiu uma ordem executiva para garantir a segurança e proteção da IA. Essa estratégia abrangente oferece um framework para estabelecer novos padrões para gerenciar os riscos inerentes à tecnologia de IA. Os novos padrões de segurança e proteção da IA do governo dos EUA exemplificam como os governos lidam com essa questão extremamente sensível.
Segurança e proteção da IA: exige que os desenvolvedores de sistemas de IA poderosos compartilhem resultados de testes de segurança e informações críticas com o governo dos EUA. Requer o desenvolvimento de normas, ferramentas e testes para garantir que os sistemas de IA sejam seguros e confiáveis.
Proteção de privacidade: prioriza o desenvolvimento e o uso de técnicas de preservação da privacidade e fortalece a pesquisa e as tecnologias de preservação da privacidade. Ela também estabelece diretrizes para que os órgãos federais avaliem a eficácia das técnicas de preservação da privacidade.
Equidade e direitos civis: impede que a IA aumente a discriminação e os vieses em diversos setores. Inclui a orientação de proprietários de imóveis e programas federais, lida com a discriminação algorítmica e garante a imparcialidade no sistema de justiça criminal.
Proteção ao consumidor, paciente e aluno: ajuda a promover uma IA responsável na área da saúde e da educação, como o desenvolvimento de medicamentos que salvam vidas e o apoio a ferramentas educacionais impulsionadas por IA.
Apoio ao trabalhador: desenvolve princípios para mitigar os efeitos prejudiciais da IA nos empregos e ambientes de trabalho, incluindo questões como a perda de empregos e a equidade no local de trabalho.
Promoção da inovação e concorrência: catalisa a pesquisa de IA nos EUA, incentiva um ecossistema de IA justo e competitivo e facilita a entrada de profissionais de IA qualificados nos EUA.
Liderança global em IA: expande a colaboração internacional em IA e promove o desenvolvimento e a implementação de padrões vitais de IA com parceiros internacionais.
Uso governamental da IA: garante a implementação responsável da IA por parte do governo, emitindo orientações para o uso da IA pelas agências, melhorando a aquisição de IA e acelerando a contratação de profissionais de IA.
Embora as regulamentações e as forças do mercado padronizem muitas métricas de governança, as organizações ainda precisam determinar como equilibrar melhor as medidas dos seus negócios. A medição da eficácia da governança de IA pode variar de acordo com a organização; cada organização deve decidir quais áreas de foco devem ser priorizadas. Com áreas de foco como qualidade de dados, segurança do modelo, análise de custo-benefício, monitoramento de viés, responsabilidade individual, auditoria contínua e capacidade de adaptação para atender às necessidades específicas da organização, não existe uma solução que sirva para todos os casos. Catalisa a pesquisa de IA nos EUA, incentiva um ecossistema de IA justo e competitivo e facilita a entrada de profissionais de IA qualificados nos EUA.
A governança de IA não tem "níveis" universalmente padronizados da mesma forma que, por exemplo, a cibersegurança pode ter definido níveis de resposta a ameaças. Em vez disso, a governança de IA oferece abordagens e frameworks organizados desenvolvidos por diversas entidades, que as organizações podem adotar ou adaptar conforme suas necessidades específicas.
As organizações podem usar vários frameworks e diretrizes para desenvolver suas práticas de governança. Alguns dos frameworks mais amplamente usados incluem o Framework de Gerenciamento de Risco de IA do NIST, os Princípios da OCDE sobre Inteligência Artificial e as Diretrizes de Ética da Comissão Europeia para IA Confiável. Esses frameworks fornecem orientações para uma variedade de tópicos, incluindo transparência, responsabilidade, equidade, privacidade, segurança e proteção.
Os níveis de governança podem variar de acordo com o tamanho da organização, a complexidade dos sistemas de IA em uso e o ambiente regulatório no qual a organização opera.
Uma visão geral dessas abordagens:
Esta é a forma menos intensiva de lidar com a governança baseada nos valores e princípios da organização. Pode haver alguns processos informais, como comitês de revisão ética ou comitês internos, mas não existe uma estrutura ou framework formal para a governança de IA.
Esta é uma etapa à frente da governança informal e envolve o desenvolvimento de políticas e procedimentos específicos para o desenvolvimento e uso da IA. Esse tipo de governança geralmente é desenvolvido em resposta a desafios ou riscos específicos e pode não ser abrangente ou sistemático.
Este é o nível mais alto de governança e envolve o desenvolvimento de um framework abrangente de governança de IA. Este framework reflete os valores e princípios da organização e está alinhado com as leis e regulamentações relevantes. Frameworks de governança formais normalmente incluem avaliação de riscos, revisão ética e processos de supervisão.
O conceito de governança de IA se torna cada vez mais vital à medida que a automação, impulsionada pela IA, se torna predominante em setores que vão desde cuidados com a saúde e finanças até transporte e serviços públicos. Os recursos de automação da IA podem melhorar significativamente a eficiência, a tomada de decisões e a inovação, mas também introduzem desafios relacionados à responsabilidade, transparência e considerações éticas.
A governança da IA envolve estabelecer estruturas de controle robustas contendo políticas, diretrizes e frameworks para lidar com esses desafios. Isso envolve a criação de mecanismos para monitorar e avaliar continuamente os sistemas de IA, garantindo que estejam em conformidade com as normas éticas e as regulamentações legais estabelecidas.
Estruturas eficazes de governança em IA são multidisciplinares e envolvem stakeholders de várias áreas, como tecnologia, direito, ética e negócios. À medida que os sistemas de IA se tornam mais sofisticados e integrados aos aspectos críticos da sociedade, o papel da governança de IA em orientar e moldar a trajetória do desenvolvimento da IA e seu impacto social se torna cada vez mais crucial.
As melhores práticas de governança de IA envolvem uma abordagem além da simples conformidade, abrangendo um sistema mais robusto para monitoramento e gerenciamento de aplicações de IA. Para empresas de nível empresarial, a solução de governança de IA deve possibilitar uma supervisão ampla e controle sobre os sistemas de IA. Este é um exemplo de roteiro a ser considerado:
Dashboard visual: use um dashboard que forneça atualizações em tempo real sobre a integridade e o status dos sistemas de IA, oferecendo uma visão geral clara para avaliações rápidas.
Métricas de pontuação de integridade: implemente uma pontuação de integridade geral para modelos de IA usando métricas intuitivas e fáceis de entender para simplificar o monitoramento.
Monitoramento automatizado: empregue sistemas de detecção automática de viés, desvio, desempenho e anomalias para garantir que os modelos funcionem de forma correta e ética.
Alertas de desempenho: configure alertas para quando um modelo se desviar dos seus parâmetros de desempenho predefinidos, permitindo intervenções oportunas.
Métricas personalizadas: defina métricas personalizadas que se alinhem aos indicadores-chave de desempenho (KPIs) e aos limites da organização para garantir que os resultados de IA contribuam para os objetivos comerciais.
Trilhas de auditoria: mantenha registros e trilhas de auditoria facilmente acessíveis para fins de responsabilização e para facilitar a análise das decisões e comportamentos dos sistemas de IA.
Compatibilidade de ferramentas de código aberto: escolha ferramentas de código aberto compatíveis com várias plataformas de desenvolvimento de aprendizado de máquina para se beneficiar da flexibilidade e do suporte da comunidade.
Integração perfeita: certifique-se de que a plataforma de governança de IA se integre sem dificuldades à infraestrutura existente, incluindo bancos de dados e ecossistemas de software, para evitar silos e permitir fluxos de trabalho eficientes.
Ao aderir a essas práticas, as organizações podem estabelecer um framework robusto de governança de IA que apoie o desenvolvimento, a implementação e o gerenciamento de IA responsáveis, garantindo que os sistemas de IA estejam em conformidade e alinhados aos padrões éticos e às metas organizacionais.
As práticas e regulamentações de governança de IA foram adotadas por vários países para evitar vieses e discriminação. Abaixo estão apenas alguns exemplos. É importante lembrar que a regulamentação está sempre em fluxo, e as organizações que gerenciam sistemas complexos de IA precisarão ficar atentas conforme os frameworks regionais evoluem.
A SR-11-71 é a norma de governança de modelo regulatório dos EUA para uma governança de modelo forte e eficaz no setor bancário. A regulamentação exige que os funcionários do banco apliquem iniciativas de gerenciamento de risco de modelo em toda a empresa e mantenham um inventário de modelos implementados para uso, em desenvolvimento para implementação ou recentemente aposentados. Os líderes das instituições também devem provar que seus modelos estão alcançando o propósito de negócios para o qual foram destinados a resolver, e que estão atualizados e não desviaram. O desenvolvimento e a validação do modelo devem permitir que qualquer pessoa não familiarizada com um modelo entenda as operações do modelo, limitações e premissas-chave.
A Diretiva sobre Tomada de Decisão Automatizada do Canadá 2 descreve como o governo do país usa a IA para orientar decisões em vários departamentos. A diretiva usa um sistema de pontuação para avaliar a intervenção humana, a revisão por pares, o monitoramento e o planejamento de contingência necessários para uma ferramenta de IA criada para atender aos cidadãos. As organizações que criam soluções de IA com uma alta pontuação devem realizar duas avaliações por pares independentes, divulgar publicamente em linguagem simples, desenvolver uma intervenção humana à prova de falhas e oferecer cursos de treinamento recorrentes para o sistema. Como a Diretiva sobre Tomada de Decisão Automatizada do Canadá é uma orientação para o próprio desenvolvimento de IA no país, a regulamentação não afeta diretamente as empresas da maneira como a SR 11-7 faz nos EUA.
Em abril de 2021, a Comissão Europeia apresentou seu pacote de IA3, incluindo declarações sobre o fomento de uma abordagem europeia para excelência e confiança e uma proposta para um framework legal sobre IA. As declarações afirmam que, enquanto a maioria dos sistemas de IA se encaixará na categoria de "risco mínimo", os sistemas de IA identificados como "alto risco" deverão aderir a requisitos mais rigorosos, e sistemas considerados de "risco inaceitável" serão proibidos. As organizações devem prestar muita atenção a essas regras ou arriscar multas.
Na região da Ásia-Pacífico, os países publicaram vários princípios e diretrizes quanto à governança de IA. Em 2019, o governo federal de Singapura lançou um framework com diretrizes para abordar questões de ética em IA no setor privado. A estrutura da estratégia de IA da Índia recomenda a criação de um centro para estudar como lidar com questões relacionadas à ética e privacidade da IA, entre outros temas. A China, Japão, Coreia do Sul, Austrália e Nova Zelândia também estão explorando as diretrizes para a governança da IA.4
Implemente e incorpore com facilidade a IA na sua empresa, gerencie todas as fontes de dados e acelere fluxos de trabalho de IA responsáveis, tudo em uma única plataforma.
Simplifique a governança de dados, o gerenciamento de riscos e a conformidade regulatória com o IBM OpenPages — uma plataforma GRC altamente escalável, impulsionada por IA e unificada.
Nosso ebook mais recente descreve os principais blocos de construção da governança de IA e compartilha um framework detalhado de governança de IA que você pode aplicar em sua organização.
Explore o potencial transformador da IA responsável para a sua organização e saiba mais sobre os fatores cruciais por trás da adoção de práticas éticas de IA.
Participe da discussão sobre por que as empresas precisam priorizar a governança de IA para implementar uma IA responsável.
A IA ética é uma área multidisciplinar que estuda como otimizar o impacto benéfico da IA e, ao mesmo tempo, reduzir os riscos e resultados adversos. Saiba mais sobre a abordagem da IBM em relação à IA ética.
A IA explicável é crucial para uma organização na construção de confiança e segurança ao colocar modelos de IA em produção.
Saiba como a governança de dados garante que as empresas aproveitem ao máximo seus ativos de dados.
Notas de rodapé
1. "SR 11-7: Guidance on Model Risk Management." Board of Governors of the Federal Reserve System Washington, D.C., Division of Banking Supervision and Regulation, 4 de abril de 2011.
2. "Canada's New Federal Directive Makes Ethical AI a National Issue." Digital, 8 de março de 2019.
3. "A European approach to artificial intelligence." Comissão europeia, 14 de dezembro de 2023
4. “Wrestling With AI Governance Around The World.” Forbes, 27 de março de 2019.