O que é segurança da IA?

Construir sistemas seguros de inteligência artificial (IA) é uma consideração crítica para as empresas e a sociedade devido à crescente predominância e impacto da IA. A segurança da IA ajuda a garantir que os sistemas de IA sejam usados da maneira mais responsável possível e que o futuro da IA seja desenvolvido visando os valores humanos.

O desenvolvimento e a manutenção de uma IA segura envolvem a identificação de possíveis riscos de IA (como viés, segurança de dados e vulnerabilidade a ameaças externas) e a criação de processos para evitar e mitigar esses riscos. Por exemplo, medidas de segurança da IA, como mitigação de viés, testes de robustez e framework éticas de IA, podem ajudar as empresas a desenvolver e usar ferramentas de IA de forma responsável em suas organizações.

À medida que os sistemas de IA se tornam mais sofisticados, eles se tornam mais profundamente integrados às vidas das pessoas e às áreas críticas do mundo real, como infraestrutura, finanças e segurança nacional. Essas tecnologias podem ter impactos positivos e negativos sobre as organizações que as utilizam e a sociedade como um todo.

As preocupações com os impactos negativos da IA são cada vez maiores. Uma pesquisa de 2023 descobriu que 52% dos americanos estavam mais preocupados do que animados com o aumento do uso da inteligência artificial.¹ Outra descobriu que 83% se preocupam com o fato de a IA poder acidentalmente levar a um evento catastrófico.²

Outras pesquisas mostram que as preocupações não são infundadas: um relatório de 2024 descobriu que 44% dos entrevistados disseram que suas organizações sofreram consequências negativas (como problemas de imprecisão ou cibersegurança) com o uso da IA.³ Os esforços de segurança são frequentemente tratados como uma reflexão tardia: de acordo com o 2023 Impact Report do Center for AI Safety, apenas 3% das pesquisas técnicas se concentram em tornar a IA mais segura.⁴

Para a sociedade como um todo, as medidas de segurança da IA são necessárias para proteger a segurança pública, a privacidade e os direitos fundamentais. Sistemas de IA que são tendenciosos, opacos ou que não estão em conformidade com os valores humanos podem perpetuar ou ampliar as desigualdades sociais.

Os especialistas também temem que alguns sistemas avançados de IA possam se tornar tão ou mais inteligentes que os seres humanos. A inteligência artificial geral (AGI) refere-se a possíveis sistemas de IA que entendem, aprendem e realizam tarefas de pensamento da mesma forma que os seres humanos. A superinteligência artificial (ASI) refere-se a sistemas hipotéticos de IA com um escopo intelectual e funções cognitivas mais avançadas do que qualquer ser humano. O desenvolvimento da AGI e da ASI levanta preocupações de que tais sistemas seriam perigosos se não estivessem alinhados com os valores humanos ou sujeitos à supervisão humana. Com tanta autonomia, os críticos dizem que esses sistemas representariam uma ameaça existencial para a humanidade.

Do ponto de vista das empresas, a IA segura ajuda a construir a confiança do consumidor, proteger contra responsabilidades legais e evitar tomadas de decisões inadequadas. As organizações que tomam medidas para garantir que o uso da IA esteja alinhado com seus valores podem evitar consequências negativas para si mesmas e para seus clientes.

Os riscos de IA podem ser categorizados em vários tipos, cada um exigindo diferentes medidas de segurança de IA e esforços de gerenciamento de risco.

• Viés e imparcialidade
• Privacidade
• Perda de controle
• Riscos existenciais
• Uso indevido malicioso
• Cibersegurança

Os sistemas de IA podem perpetuar ou amplificar vieses sociais. O viés algorítmico ocorre quando a IA é treinada com dados e entradas incompletos ou enganosos. Isso pode levar a tomadas de decisões injustas. Por exemplo, uma ferramenta de IA treinada com dados discriminatórios pode ter menos probabilidade de aprovar hipotecas para candidatos de determinadas origens ou pode ser mais propensa a recomendar a contratação de um candidato a emprego do sexo masculino em vez de uma mulher.

Os sistemas de IA têm o potencial de acessar, expor ou usar indevidamente dados pessoais, o que gera preocupações com a privacidade. Se dados confidenciais forem violados, os criadores ou usuários de um sistema de IA podem ser responsabilizados.

Os resultados de sistemas avançados de IA, especialmente aqueles criados para operar como agentes autônomos, podem ser imprevisíveis. Suas ações também podem ser prejudiciais. Se eles forem capazes de decidir de forma independente, pode ser difícil pará-los. Sem um elemento de controle humano, pode ser impossível intervir ou desligar um sistema de IA que esteja agindo de forma inadequada.

A AGI, a ASI e outros sistemas de IA altamente avançados podem agir de formas que coloquem em risco a humanidade ou interromper sistemas globais se forem mal gerenciados. Os perigos de uma corrida de IA, semelhante a uma corrida armamentista, colocam a estabilidade geopolítica em risco.

A IA também pode ser usada indevidamente para manipulação social em grande escala ou guerra cibernética. Em 2023, a organização sem fins lucrativos Center for IA Safety (CAIS) divulgou uma declaração de uma única frase com o apoio de vários pesquisadores e líderes de IA. Ela dizia: "Mitigar o risco de extinção proveniente da IA deve ser uma prioridade global ao lado de outros riscos em escala social, como pandemias e guerra nuclear."⁵

Embora consequências e erros não intencionais sejam uma fonte de risco da IA, os agentes mal-intencionados também podem usar a tecnologia intencionalmente para causar danos. A IA pode ser usada como arma para causar ataques cibernéticos, campanhas de desinformação, vigilância ilegal e até mesmo danos físicos. Essas ameaças existem no nível individual e no nível social.

Os sistemas de IA podem ser vulneráveis a problemas de segurança. Eles enfrentam a possibilidade de ataques adversários, nos quais agentes mal-intencionados manipulam as entradas de dados para enganar os modelos, levando a saídas incorretas.

Por exemplo, jailbreaks de IA ocorrem quando hackers usam injeções de prompts e outras técnicas para exploração vulnerabilidades em sistemas de IA e realizar ações restritas. O envenenamento de dados acontece quando dados de treinamento comprometidos distorcem o comportamento da IA. O acesso não autorizado e outras vulnerabilidades ou riscos de segurança podem levar ao uso indevido dos sistemas de IA e seus dados.

A segurança da IA e a proteção da IA são aspectos relacionados, mas distintos, da inteligência artificial. A segurança da IA visa lidar com problemas inerentes e consequências não intencionais, enquanto a proteção da IA se concentra na proteção dos sistemas de IA contra ameaças externas.

A segurança da IA tenta conectar a IA com valores humanos e reduzir a chance de que os sistemas de IA tenham um impacto negativo nas empresas e na sociedade. Ela enfatiza o alinhamento da IA, que é o processo de codificação de valores e objetivos humanos em modelos de IA.

A proteção da IA consiste em proteger os sistemas de IA contra ameaças externas, como ataques cibernéticos e violações de dados. Ela envolve a proteção da confidencialidade e da integridade dos modelos de IA. A proteção da IA também pode se referir ao uso da inteligência artificial para aprimorar a postura de segurança de uma organização. De acordo com essa definição, inclui o uso da IA e aprendizado de máquina (ML) para prever e lidar com possíveis ameaças.

Líderes de IA e empresas estão implementando várias práticas para apoiar o desenvolvimento e uso responsável de tecnologias de IA. Medidas de segurança da IA incluem:

• Detecção e mitigação do viés algorítmico
• Testes e validação de robustez
• IA explicável (XAI)
• Frameworks de IA ética
• Supervisão humana
• Protocolos de segurança
• Colaboração em todo o setor

Os algoritmos podem perpetuar ou amplificar preconceitos presentes nos dados nos quais são treinados. Para combater esse problema, as empresas estão investindo em esforços para lidar com o viés algorítmico. Técnicas como a coleta de diversos conjuntos de dados, avaliações algorítmicas de imparcialidade e métodos de remoção de vieses ajudam a identificar possíveis problemas.

Processos rigorosos de testes e validação ajudam os sistemas de IA a resistir a perigos e a identificar riscos técnicos. Técnicas como testes adversários, testes de estresse e verificação formal ajudam a garantir que as ferramentas e os modelos de IA funcionem conforme o esperado e não exibam comportamentos indesejáveis.

Muitos modelos de IA, especialmente grandes modelos de linguagem (LLMs), são "caixas-pretas" que tomam decisões difíceis de interpretar para seres humanos. Sem transparência no processo de tomada de decisões, é menos provável que os usuários confiem nos resultados e recomendações. A IA explicável (XAI) visa esclarecer os processos opacos por trás de sistemas complexos de IA, focando na interpretabilidade para mostrar como eles chegam a seus resultados.

Muitas organizações têm frameworks de IA ética para orientar o desenvolvimento e o uso de sistemas de IA. Esses frameworks e seus benchmarks relacionados geralmente incluem princípios como transparência, justiça, responsabilização e privacidade. Eles fornecem proteções para o uso e desenvolvimento de ferramentas de IA.

Embora a automação seja parte da atratividade da IA para muitas empresas, manter o controle humano é importante por razões de segurança. Isso significa que operadores humanos monitorem o desempenho do sistema de IA, intervenham quando necessário e tomem decisões finais em situações críticas. As abordagens human-in-the-loop ajudam a garantir que uma pessoa real seja responsável pelas ações de um sistema de IA.

A implementação de medidas de segurança robustas, como criptografia, controle de acesso e detecção de anomalias, ajuda a proteger os sistemas de IA contra o uso indevido ou acesso não autorizado. As empresas também podem investir em medidas de cibersegurança para se proteger contra ataques cibernéticos e ameaças cibernéticas que possam comprometer a integridade de seus sistemas de IA.

A segurança da IA é um campo complexo e em evolução que requer a colaboração entre pesquisadores, líderes de setores e legisladores. Muitas empresas participam de consórcios setoriais, iniciativas de pesquisa e esforços de padronização para compartilhar conhecimento, melhores práticas e lições aprendidas. Ao trabalhar em conjunto, a comunidade da IA pode desenvolver medidas de segurança mais robustas e confiáveis.

A pesquisa de segurança da IA é um esforço compartilhado entre muitos stakeholders.  

A segurança da IA começa com os desenvolvedores e engenheiros responsáveis por projetar, construir e testar os sistemas de IA. Eles podem se concentrar em questões fundamentais, como o alinhamento dos objetivos da IA aos valores humanos e a criação de modelos transparentes e explicáveis. Eles também são responsáveis por testar e validar modelos e ferramentas para ajudar a garantir que operem conforme o esperado.

Empresas que lideram o desenvolvimento da IA, incluindo IBM, OpenAI, Google DeepMind, Microsoft, Anthropic e outras, estão na vanguarda dos esforços de segurança da IA. Elas investem em equipes dedicadas de segurança da IA, estabelecem diretrizes éticas e seguem aos princípios da IA responsável para evitar resultados prejudiciais.

Algumas empresas também criaram frameworks e protocolos para lidar com riscos nas fases de pesquisa e implementação, como ferramentas de detecção de viés e sistemas que permitem a supervisão humana. Muitas também colaboram em coalizões setoriais, compartilhando conhecimento para definir padrões para segurança da IA para todo o setor.

Esforços mais amplos de governança de IA são uma parte fundamental das medidas globais de segurança da IA. Organizações internacionais, incluindo a ONU, o Fórum Econômico Mundial e a Organização para Cooperação e Desenvolvimento Econômico (OECD), lideram iniciativas focadas na ética e segurança da IA. Governos individuais em todo o mundo também estão criando regras e regulamentações de segurança da IA:

Nos Estados Unidos, o Artificial Intelligence Safety Institute (AISI), uma parte do Instituto Nacional de Padrões e Tecnologia (NIST), trabalha para lidar com problemas de segurança. Seus esforços se concentram nas prioridades, como o avanço da pesquisa e o desenvolvimento de mitigações de riscos.

Na União Europeia, a Lei de IA da UE inclui várias normas e diretrizes de segurança e penalidades por não conformidade. Separadamente, o Reino Unido criou o AI Safety Institute para promover o desenvolvimento seguro da IA. Vários outros países, incluindo Singapura, Japão e Canadá, também estão criando órgãos de segurança da IA para conduzir pesquisas e informar o desenvolvimento e a regulamentação com foco na segurança pública.

Os legisladores e pesquisadores de organizações não governamentais (ONGs), think tanks e outros grupos trabalham para lidar com as questões de segurança. Eles consideram questões de segurança nacional, direitos humanos e política legislativa e recomendam maneiras de ajudar o desenvolvimento da IA a se alinhar com valores e interesses sociais. Eles aumentam a consciência sobre os riscos, estabelecem diretrizes éticas, promovem a transparência e incentivam a pesquisa responsável.

Algumas das principais organizações sem fins lucrativos e de defesa da segurança da IA incluem:

• Center for IA Safety: o CAIS é uma organização sem fins lucrativos com sede em São Francisco que realiza pesquisas e cria materiais didáticos (como livros didáticos) para reduzir os riscos em escala social associados à IA.
  
  
• Center for Human-Compatible AI: o CHAI é um centro de pesquisa da University of California, em Berkeley, que realiza pesquisas sobre segurança da IA, incluindo trabalhos sobre aprendizado por reforço e aprendizado de valor.
  
  
• Stanford Institute for Human-Centered Artificial Intelligence: essa organização sediada na Stanford University realiza pesquisas e defesa voltadas para o desenvolvimento da IA centrada no ser humano e valores de segurança, confiança e responsabilidade.
  
  
• Machine Intelligence Research Institute: o MIRI é um grupo de pesquisa que se concentra nos desafios técnicos da IA confiável e no alinhamento da IA.
  
  
• Partnership on AI: uma colaboração de organizações acadêmicas e setoriais que promoveram práticas de IA responsável por meio de pesquisa, informações públicas e outros trabalhos.
  
  
• Future of Life Institute: essa organização sem fins lucrativos busca reduzir os riscos existenciais associados ao desenvolvimento avançado da IA por meio de pesquisa e defesa.
  
  
• AI Safety Initiative by the Cloud Security Alliance: a coalizão da CSA trabalha para criar orientações e ferramentas para capacitar as organizações a implementar soluções de IA seguras, responsáveis e éticas.