AI가 편견으로 인해 실수를 저지르면(예: 특정 집단이 기회를 거부당하거나 사진에서 잘못 식별되거나 불공정한 처벌을 받는 등), 해당 조직은 브랜드와 평판에 손상을 입게 됩니다. 동시에 해당 집단과 사회 전체에 속한 사람들은 자신도 모르는 사이에 피해를 입을 수 있습니다. 다음은 AI의 불균형과 편견, 그리고 이로 인해 발생할 수 있는 피해에 대한 몇 가지 유명한 사례입니다.

의료 분야에서 여성이나 소수 집단의 데이터가 과소 대표되면 예측 AI 알고리즘이 왜곡될 수 있습니다^.2 예를 들어, 컴퓨터 보조 진단(CAD) 시스템은 백인 환자보다 아프리카계 미국인 환자에게 더 낮은 정확도의 결과를 제공하는 것으로 밝혀졌습니다.

AI 도구는 검색 중 이력서 스캔을 자동화하여 이상적인 지원자를 식별하는 데 도움을 줄 수 있지만, 요청된 정보와 선별된 답변에 따라 그룹 간에 불균형한 결과를 초래할 수 있습니다. 예를 들어, 구인 광고에 '닌자'라는 단어가 사용된 경우, 해당 직업이 필수 조건이 아님에도 불구하고 여성보다 남성이 더 많은 관심을 끌 수 있습니다^.3   

블룸버그는 이미지 생성 테스트를 위해 5,000개 이상의 AI 이미지를 생성하도록 요청했고, 그 결과 '안정적 확산에 따른 세계는 백인 남성 CEO에 의해 운영된다'는 사실을 발견했습니다. 여성은 의사, 변호사, 판사 같은 직업을 가진 경우가 드뭅니다. 피부가 어두운 남성은 범죄를 저지르고, 피부가 어두운 여성은 햄버거를 뒤집습니다^. "4  Midjourney는 전문 직종에 종사하는 사람들의 이미지를 요청하여 AI 아트 생성에 대한 유사한 연구를 수행했습니다. 그 결과, 젊은 층과 고령층 모두에서 남성이 많았지만, 고령층은 항상 남성으로 나타나 직장 내 여성의 역할에 대한 성별 편견이 강화되었습니다^.5 

형사 사법 시스템에서 일부 조직에서 사용하는 AI 기반 예측 치안 도구는 범죄가 발생할 가능성이 있는 지역을 식별하는 데 사용됩니다. 그러나 이러한 데이터는 종종 과거 체포 데이터에 의존하기 때문에 기존의 인종 프로파일링 패턴과 소수자 커뮤니티에 대한 불균형적인 표적화 패턴을 강화할 수 있습니다^.6

왜곡된 결과는 조직과 사회 전체에 해를 끼칠 수 있습니다. 다음은 몇 가지 일반적인 AI 편향의^{유형입니다7}. 

• 알고리즘 편향: 문제나 질문이 완전히 정확하거나 구체적이지 않거나 머신 러닝 알고리즘에 대한 피드백이 해결책을 찾는 데 도움이 되지 않는 경우 잘못된 정보가 발생할 수 있습니다. 

• 인지 편향: AI 기술에는 인간의 입력이 필요하며 인간은 오류를 범할 수 있습니다. 개인적 편견이 실무자 자신도 모르는 사이에 스며들 수 있습니다. 이는 데이터 집합 또는 모델 동작에 영향을 줄 수 있습니다. 
   

• 확증 편향:인지 편향과 밀접한 관련이 있는 이 편향은 AI가 데이터의 기존 믿음이나 추세에 지나치게 의존하여 기존 편향에 두 배로 의존하고 새로운 패턴이나 추세를 식별하지 못할 때 발생합니다. 
   

• 제외 편향: 이러한 유형의 편향은 중요한 데이터가 사용 중인 데이터에서 제외될 때 발생하며, 개발자가 새롭고 중요한 요소를 보지 못해서 발생하는 경우가 많습니다. 
   

• 측정 편향: 측정 편향: 측정 편향은 불완전한 데이터로 인해 발생합니다. 이는 대부분 간과하거나 준비가 부족하여 고려해야 할 전체 인구를 포함하지 않은 데이터 세트가 생성되는 경우입니다. 예를 들어, 대학에서 성공적인 졸업 요인을 예측하고 싶지만 졸업생만 포함하는 경우, 일부 중도 탈락의 요인을 완전히 놓치게 됩니다. 
   

• 집단 동질성 편향: 자신이 모르는 것을 모르는 경우입니다. 사람들은 자신이 속한 그룹인 인그룹 멤버에 대해 더 잘 이해하는 경향이 있으며, 아웃그룹 멤버보다 인그룹 멤버( Think )가 더 다양합니다. 그 결과 개발자는 학습 데이터에서 다수 집단에 속하지 않는 개인을 구별하지 못하는 알고리즘을 만들어 인종 편향, 오분류 및 오답을 초래할 수 있습니다. 

• 편견 편향: 고정관념과 잘못된 사회적 가정이 알고리즘의 데이터 세트에 유입되어 필연적으로 편향된 결과를 초래할 때 발생합니다. 예를 들어, AI는 남성만 의사이고 간호사는 모두 여성이라는 결과를 반환할 수 있습니다. 
   

• 회상 편향: 이는 주관적인 관찰에 의해 라벨이 일관성 없이 적용되는 데이터 라벨링 과정에서 발생합니다.  
   

• 샘플/선택 편향: 머신 러닝 모델을 학습시키는 데 사용되는 데이터가 충분히 크지 않거나 대표성이 부족하거나 너무 불완전하여 시스템을 충분히 학습시키지 못할 때 발생하는 문제입니다. AI 모델 학습을 위해 자문을 구하는 모든 학교 교사가 동일한 학력 자격을 갖춘다면, 미래의 모든 교사도 동일한 학력 자격을 갖춰야 할 것입니다. 
   

• 고정관념 편향: 이는 일반적으로 AI 시스템이 의도치 않게 해로운 고정관념을 강화할 때 발생합니다. 예를 들어 언어 번역 시스템은 일부 언어를 특정 성별이나 인종적 고정관념과 연관시킬 수 있습니다. 맥킨지는 데이터 세트에서 편견을 제거하려는 시도에 대해 경고의 말을 전합니다: "순진한 Approach 은 데이터에서 성별이나 인종과 같은 보호 대상 클래스를 제거하고 알고리즘을 편향되게 만드는 레이블을 삭제합니다. 그러나 이 Approach 는 제거된 레이블이 모델 이해에 영향을 미치고 결과의 정확도가 떨어질 수 있으므로 작동하지 않을 수 있습니다."⁸

편견의 함정을 피하기 위한 첫 번째 단계는 처음부터 한 걸음 물러나 AI 노력을 기울이는 것입니다. 거의 모든 비즈니스 과제에서 그렇듯이, 학습에 문제가 생길 때까지 기다렸다가 손상된 결과를 정리하는 것보다 미리 문제를 해결하는 것이 훨씬 쉽습니다. 하지만 많은 조직이 서두르다 보면 '일확천금'을 노리는 어리석음을 범하게 되고, 그 대가를 치르게 됩니다. 

AI의 편향성을 파악하고 해결하려면 조직의 AI 활동을 지시, 관리 및 모니터링할 수 있는 능력, 즉 AI 거버넌스가 필요합니다. 실제로 AI 거버넌스는 AI 기술의 책임감 있는 개발과 사용을 안내하는 일련의 정책, 관행 및 프레임워크를 만듭니다. AI 거버넌스가 잘 수행되면 기업, 고객, 직원, 사회 전체에 균형 잡힌 혜택이 돌아갈 수 있습니다.

AI 거버넌스에는 종종 공정성, 형평성, 포용성을 평가하는 방법이 포함됩니다. 사실과 반대되는 공정성과 같은 접근 방식은 성별, 인종 또는 성적 지향과 같은 민감한 속성이 포함된 경우에도 모델의 의사 결정에서 편향을 식별하고 공평한 결과를 보장합니다.

 AI는 복잡하기 때문에 알고리즘을 만드는 데 사용된 데이터가 거의 Insight 없는 블랙박스 시스템이 될 수 있습니다. 투명성 관행과 기술은 편향되지 않은 데이터를 사용하여 시스템을 구축하고 그 결과를 공정하게 보장하는 데 도움이 됩니다. 고객의 정보를 보호하기 위해 노력하는 기업은 브랜드 신뢰를 쌓고 신뢰할 수 있는 AI 시스템을 만들 가능성이 높습니다.

또 다른 품질 보증 계층을 제공하려면 '휴먼 인 더 루프' 시스템을 도입하여 옵션을 제공하거나 사람의 결정으로 승인할 수 있는 권장 사항을 제시하세요.

다음은 AI 프로그램에 편견이 없도록 하는 6가지 프로세스 단계의 체크리스트입니다.

1. 올바른 학습 모델을 선택합니다:

• 지도 모델을 사용할 때는 이해관계자가 학습 데이터를 선택합니다. 이해관계자 팀은 데이터 과학자뿐만 아니라 다양해야 하며, 무의식적인 편견을 방지하는 데 도움이 되는 교육을 받은 사람으로 구성하는 것이 중요합니다.  
  
• 비지도 모델은 AI만 사용하여 편향을 식별합니다. 편향성 방지 도구가 신경망에 내장되어 편향된 것을 인식하는 방법을 학습해야 합니다.

2. 올바른 데이터로 학습합니다: 잘못된 데이터로 학습된 머신러닝은 잘못된 결과를 낳습니다. AI에 입력되는 모든 데이터는 고려 대상 그룹의 실제 인구 통계를 재현할 수 있도록 완전하고 균형 잡힌 데이터여야 합니다.     

3. 균형 잡힌 팀을 선택하세요: 인종, 경제 수준, 교육 수준, 성별, 직무 내용 등 AI 팀의 구성이 다양할수록 편견을 인식할 가능성이 높아집니다. 균형 잡힌 AI 팀의 인재와 관점에는 AI 비즈니스 혁신가, AI 크리에이터, AI 구현자, 그리고 이러한 특정 AI 노력의 소비자 대표 등이 포함되어야 합니다^.9  

4. 데이터 처리를 신중하게 수행하세요: 기업은 데이터를 처리할 때 각 단계에서 편향성을 인식해야 합니다. 전처리, 처리 중, 처리 후 등 언제든 편견이 개입하여 AI에 영향을 미칠 수 있기 때문에 데이터 선택에만 위험이 있는 것은 아닙니다.  

5. 지속적으로 모니터링합니다: 완전하거나 영구적인 모델은 없습니다. 조직 전반의 실제 데이터를 지속적으로 모니터링하고 테스트하면 편견이 해를 끼치기 전에 이를 감지하고 수정하는 데 도움이 될 수 있습니다. 편견을 더욱 방지하기 위해 조직은 조직 내부의 독립적인 팀 또는 신뢰할 수 있는 제3자의 평가를 고려해야 합니다.  

6. 인프라 문제를 피하세요: 사람과 데이터의 영향 외에도 인프라 자체가 편견을 유발할 수 있습니다. 예를 들어 기계식 센서에서 수집한 데이터를 사용하면 센서가 오작동할 경우 장비 자체에 편향이 발생할 수 있습니다. 이러한 종류의 편향성은 감지하기 어려울 수 있으며 최신 디지털 및 기술 인프라에 대한 투자가 필요합니다.