Quando a IA comete um erro devido a preconceitos - como negar oportunidades a grupos de pessoas, identificá-los incorretamente em fotos ou puni-los injustamente - a Organização infratora sofre danos à sua marca e reputação. Ao mesmo tempo, as pessoas desses grupos e a sociedade como um todo podem sofrer danos sem nem mesmo perceber. Aqui estão alguns exemplos importantes de disparidades e preconceitos na IA e os danos que eles podem causar.

No setor de saúde, a sub-representação de dados de mulheres ou grupos minoritários pode distorcer os algoritmos preditivos de IA^.2 Por exemplo, descobriu-se que os sistemas de diagnóstico auxiliado por computador (CAD) retornam resultados de precisão mais baixos para pacientes afro-americanos do que para pacientes brancos.

Embora as ferramentas de IA possam simplificar a automação da verificação de currículos durante uma pesquisa para ajudar a identificar os candidatos ideais, as informações solicitadas e as respostas selecionadas podem resultar em resultados desproporcionais entre os grupos. Por exemplo, se um anúncio de emprego usar a palavra "ninja", ele poderá atrair mais homens do que mulheres, mesmo que isso não seja um requisito do emprego^.3   

Como um teste de geração de imagens, a Bloomberg solicitou a criação de mais de 5.000 imagens de IA e descobriu que "O mundo, de acordo com a difusão estável, é administrado por um CEO branco do sexo masculino. As mulheres raramente são médicas, advogadas ou juízas. Os homens de pele escura cometem crimes, enquanto as mulheres de pele escura viram hambúrgueres^. "4  A Midjourney realizou um estudo semelhante sobre a geração de arte por IA, solicitando imagens de pessoas em profissões especializadas. Os resultados mostraram pessoas mais jovens e mais velhas, mas as pessoas mais velhas eram sempre homens, reforçando o viés de gênero do papel das mulheres no ambiente de trabalho^.5 

impulsionado por IA As ferramentas de policiamento preditivo usadas por algumas organizações no sistema de justiça criminal devem identificar áreas onde é provável que ocorram crimes. No entanto, muitas vezes eles se baseiam em dados históricos de prisões, o que pode reforçar os padrões existentes de perfis raciais e a segmentação desproporcional de comunidades minoritárias^.6

Resultados distorcidos podem prejudicar a organização e a sociedade em geral. Aqui estão alguns dos tipos mais comuns de^viés de AI7. 

• Viés do algoritmo: A desinformação pode resultar se o problema ou a pergunta feita não for totalmente correta ou específica, ou se o feedback para o algoritmo de aprendizado de máquina não ajudar a orientar a busca por uma solução. 

• Viés cognitivo: A tecnologia de IA requer seres humanos input, e os seres humanos são falíveis. O preconceito pessoal pode se infiltrar sem que os profissionais percebam. Isso pode afetar o comportamento do conjunto de dados ou do modelo. 
   

• Viés de confirmação:Intimamente relacionado ao viés cognitivo, ocorre quando a IA se baseia excessivamente em crenças ou tendências pré-existentes nos dados, dobrando os vieses existentes e incapaz de identificar novos padrões ou tendências. 
   

• Viés de exclusão: Esse tipo de viés ocorre quando dados importantes são deixados de fora dos dados que estão sendo usados, geralmente porque o desenvolvedor não conseguiu ver fatores novos e importantes. 
   

• Viés de medição: O viés de medição é causado por dados incompletos. Na maioria das vezes, isso é um descuido ou falta de preparação que resulta no fato de o conjunto de dados não incluir toda a população que deveria ser considerada. Por exemplo, se uma faculdade quisesse prever os fatores para uma graduação bem-sucedida, mas incluísse apenas os graduados, as respostas deixariam completamente de fora os fatores que fazem com que alguns desistam. 
   

• Viés de homogeneidade fora do grupo: Esse é um caso de não saber o que não se sabe. Há uma tendência de as pessoas terem uma melhor compreensão dos membros do grupo interno - o grupo ao qual pertencem - e de Think eles serem mais diversificados do que os membros do grupo externo. Os resultados podem ser desenvolvedores que criam algoritmos menos capazes de distinguir entre indivíduos que não fazem parte do grupo majoritário nos dados de treinamento, o que leva a preconceitos raciais, classificações erradas e respostas incorretas. 

• Viés de preconceito: Ocorre quando estereótipos e suposições sociais errôneas entram no conjunto de dados do algoritmo, o que inevitavelmente leva a resultados tendenciosos. Por exemplo, a IA poderia retornar resultados mostrando que apenas homens são médicos e todas as enfermeiras são mulheres. 
   

• Viés de recordação: Desenvolve-se durante a rotulagem de dados, quando os rótulos são aplicados de forma inconsistente por observações subjetivas.  
   

• Viés de amostragem/seleção: Esse é um problema quando os dados usados para treinar o modelo de aprendizado de máquina não são grandes o suficiente, não são representativos o suficiente ou são muito incompletos para treinar suficientemente o sistema. Se todos os professores da escola consultados para treinar um modelo de AI tiverem as mesmas qualificações acadêmicas, então todos os futuros professores considerados precisarão ter qualificações acadêmicas idênticas. 
   

• Viés de estereótipo: Isso acontece quando um sistema de IA - geralmente de forma inadvertida - reforça estereótipos prejudiciais. Por exemplo, um sistema de tradução de idiomas poderia associar alguns idiomas a determinados gêneros ou estereótipos étnicos. A McKinsey faz uma advertência sobre a tentativa de remover o preconceito dos conjuntos de dados: "Um Approach ingênuo é remover classes protegidas (como sexo ou raça) dos dados e excluir os rótulos que tornam o algoritmo tendencioso. No entanto, esse Approach pode não funcionar porque os rótulos removidos podem afetar a compreensão do modelo e a precisão dos resultados pode piorar. "⁸

A primeira etapa para evitar a armadilha do viés é apenas dar um passo atrás no início e pensar um pouco sobre um esforço de IA. Como acontece com quase todos os desafios de negócios, é muito mais fácil corrigir os problemas de antemão do que esperar o acidente e depois analisar os resultados danificados. No entanto, muitas organizações estão com pressa: não têm dinheiro para nada, e isso lhes custa. 

Identificar e lidar com vieses na IA requer governança de IA, ou a capacidade de direcionar, gerenciar e monitorar as atividades de IA de uma organização. Na prática, a governança de IA cria um conjunto de políticas, práticas e estruturas para orientar o desenvolvimento e o uso responsáveis da tecnologia de IA. Quando bem feita, a governança de IA ajuda a garantir que haja um equilíbrio entre os benefícios concedidos às empresas, aos clientes, aos funcionários e à sociedade como um todo.

A governança de IA geralmente inclui métodos que visam avaliar a justiça, a equidade e a inclusão. Abordagens como a imparcialidade contrafactual identificam o viés na tomada de decisões de um modelo e garantem resultados equitativos, mesmo quando atributos sensíveis, como gênero, raça ou orientação sexual, são incluídos.

 Devido à complexidade da IA, um algoritmo pode ser um sistema de caixa-preta com pouca Insight informação sobre os dados usados para criá-lo. As práticas de transparência e a tecnologia ajudam a garantir que dados imparciais sejam usados para criar o sistema e que os resultados sejam justos. As empresas que trabalham para proteger as informações dos clientes criam confiança na marca e têm maior probabilidade de criar sistemas confiáveis de IA.

Para oferecer outra camada de garantia de qualidade, institua um sistema "human-in-the-loop" para oferecer opções ou fazer recomendações que possam ser aprovadas por decisões humanas.

Aqui está uma lista de verificação de seis etapas do processo que podem manter os programas de IA livres de preconceitos.

1. Selecione o modelo de aprendizado correto:

• Ao usar um modelo supervisionado, as partes interessadas selecionam os dados de treinamento. É fundamental que a equipe do stakeholder seja diversificada - e não apenas cientista de dados - e que tenha recebido treinamento para ajudar a evitar preconceitos inconscientes.  
  
• Os modelos não supervisionados usam apenas a IA para identificar tendências. As ferramentas de prevenção de vieses precisam ser incorporadas à rede neural para que ela aprenda a reconhecer o que é tendencioso.

2. treinar com os dados corretos: O aprendizado de máquina treinado com os dados errados produzirá resultados errados. Quaisquer dados que sejam inseridos na IA devem ser completos e equilibrados para reproduzir os dados demográficos reais do grupo que está sendo considerado.     

3. Escolha uma equipe equilibrada: Quanto mais variada for a equipe de IA, em termos raciais, econômicos, de nível educacional, de gênero e de descrição de cargo, maior será a probabilidade de reconhecer a parcialidade. Os talentos e os pontos de vista de uma equipe de IA completa devem incluir inovadores de negócios de IA, criadores de IA, implementadores de IA e uma representação dos consumidores desse esforço específico de IA^.9  

4. Realizar o processamento de dados com atenção: As empresas precisam estar cientes da parcialidade em cada etapa do processamento de dados. O risco não está apenas na seleção de dados: seja durante o pré-processamento, o processamento ou o pós-processamento, a parcialidade pode se infiltrar em qualquer ponto e ser inserida na IA.  

5. Monitore continuamente: Nenhum modelo é completo ou permanente. O monitoramento e os testes contínuos com dados do mundo real de toda a organização podem ajudar a detectar e corrigir a tendência antes que ela cause danos. Para evitar ainda mais a parcialidade, a Organização deve considerar a avaliação por uma equipe independente de dentro da Organização ou de um terceiro de confiança.  

6. Evite problemas de infraestrutura: Além das influências humanas e dos dados, às vezes a própria infraestrutura pode causar distorções. Por exemplo, usando dados coletados de sensores mecânicos, o próprio equipamento poderia injetar viés se os sensores estivessem com defeito. Esse tipo de preconceito pode ser difícil de detectar e requer investimento nas mais recentes infraestruturas digitais e tecnológicas.