AI 편향이란 무엇인가요?

AI 편향이 해결되지 않으면 조직의 성공에 영향을 미치고 사람들의 경제 및 사회 참여 능력에 방해가 될 수 있습니다. 편향은 AI의 정확성을 떨어뜨리고, 따라서 잠재력을 감소시킵니다.

기업은 왜곡된 결과를 생성하는 시스템으로부터 혜택을 받을 가능성이 낮아집니다. 또한 AI 편향으로 인한 스캔들은 유색인종, 여성, 장애인, 성소수자 커뮤니티 또는 기타 소외된 집단 사이에서 불신을 조장할 수 있습니다.

AI의 기반이 되는 모델은 학습된 방대한 데이터에 은밀하게 내재된 사회의 편견을 흡수합니다. 사회적 불평등을 반영하는 역사적으로 편향된 데이터 수집은 채용, 치안, 신용 점수 등 다양한 사용 사례에서 역사적으로 소외된 집단에게 피해를 줄 수 있습니다. 월스트리트 저널(Wall Street Journal)에 따르면, "인공 지능의 사용이 보편화됨에 따라 기업들은 여전히 만연한 편견 문제를 해결하기 위해 고군분투하고 있습니다."¹

AI가 편견으로 인해 실수를 저지르면(예: 특정 집단에 대한 기회 거부, 사진 속 오인, 부당한 처벌 등) 해당 조직은 브랜드와 평판에 손상을 입게 됩니다. 동시에 해당 집단에 속한 사람들과 사회 전체가 자신도 모르는 사이에 피해를 입을 수 있습니다. 다음은 AI의 불균형과 편향, 그리고 이로 인해 발생할 수 있는 피해에 대한 몇 가지 대표적인 사례입니다.

의료 분야에서 여성이나 소수 민족에 대한 데이터가 부족하면 예측 AI 알고리즘이 왜곡될 수 있습니다.² 예를 들어, 컴퓨터 지원 진단(CAD) 시스템은 백인 환자보다 아프리카계 미국인 환자의 경우 정확도가 낮은 결과를 반환하는 것으로 나타났습니다.

AI 툴을 활용하면 이력서를 자동으로 스캔하여 이상적인 후보자를 식별하는 과정을 간소화할 수 있지만, 요청된 정보와 선별된 답변이 그룹에 따라 불균형한 결과를 초래할 수 있습니다. 예를 들어, 채용 공고에 '닌자'라는 단어가 포함되면 해당 단어가 직무 요건과 전혀 관련이 없음에도 불구하고 여성보다 남성 지원자가 더 많이 몰릴 수 있습니다.³

Bloomberg는 이미지 생성 테스트의 일환으로 5,000개 이상의 AI 이미지를 생성하도록 요청했고, 그 결과 "Stable Diffusion에 따르면 세상은 백인 남성 CEO가 운영합니다. 여성은 의사, 변호사, 판사가 거의 없습니다. 피부가 어두운 남성은 범죄를 저지르고, 피부가 어두운 여성은 햄버거를 뒤집는 일을 합니다."라는 결과를 얻었습니다.⁴Midjourney도 비슷한 방식으로 전문 직종에 종사하는 사람들의 이미지를 요청해 AI 예술 생성에 대한 연구를 진행했습니다. 그 결과 젊은 사람과 나이든 사람 모두 등장했지만 나이든 사람은 항상 남성으로 나타나 직장에서 여성의 역할에 대한 성별 편견이 강화되었습니다.⁵ 

형사 사법 시스템의 일부 조직에서 사용하는 AI 기반 예측 치안 도구는 범죄가 발생할 가능성이 있는 지역을 식별하는 데 사용됩니다. 그러나 과거의 체포 데이터에 의존하는 경우가 많으며, 이는 기존의 인종 프로파일링 패턴과 소수 민족 커뮤니티에 대한 불균형적인 표적화를 심화시킬 수 있습니다.⁶

왜곡된 결과는 조직과 사회 전반에 해를 끼칠 수 있습니다. 다음은 몇 가지 일반적인 AI 편향의 유형입니다.⁷

• 알고리즘 편향: 문제나 질문이 완전히 정확하거나 구체적이지 않거나 머신 러닝 알고리즘에 대한 피드백이 해결책을 찾는 데 도움이 되지 않는 경우 잘못된 정보가 발생할 수 있습니다.
  
  
• 인지 편향: AI 기술에는 인간의 입력이 필요하며 인간은 오류를 범할 수 있습니다. 실무자가 인지하지 못하는 사이에 개인적인 편견이 스며들 수 있습니다. 이는 데이터 세트나 모델 동작에 영향을 미칠 수 있습니다.
  
  
• 확증 편향: 인지 편향과 밀접한 관련이 있는 확증 편향은 AI가 데이터의 기존 믿음이나 추세에 지나치게 의존하여 기존 편향에 두 배로 의존하고 새로운 패턴이나 추세를 식별하지 못할 때 발생합니다.

• 배제 편향: 이러한 유형의 편향은 사용 중인 데이터에서 중요한 데이터가 누락되었을 때 발생하며, 개발자가 새롭고 중요한 요소를 파악하지 못해서 발생하는 경우가 많습니다.
  
  
• 측정 편향: 측정 편향은 불완전한 데이터로 인해 발생합니다. 이는 대부분 간과하거나 준비가 부족하여 고려해야 할 전체 모집단을 데이터 세트에 포함하지 못할 때 발생합니다. 예를 들어, 대학에서 성공적인 졸업의 요인을 예측하려 하지만 졸업생만 포함한다면, 중퇴의 원인이 되는 요인들은 완전히 배제될 것입니다.

• 집단 동질성 편향: 자신이 무엇을 모르는지 모르는 경우입니다. 사람들은 자신이 속한 그룹인 인그룹 구성원에 대해 더 잘 이해하고 아웃그룹 구성원보다 더 다양하다고 생각하는 경향이 있습니다. 그 결과 개발자는 학습 데이터에서 다수 집단에 속하지 않는 개인을 구별하지 못하는 알고리즘을 만들어 인종 편향, 오분류 및 오답을 초래할 수 있습니다.

• 편견 편향: 고정관념과 잘못된 사회적 가정이 알고리즘의 데이터 세트에 포함될 때 발생하며, 이는 필연적으로 편향된 결과를 초래합니다. 예를 들어, AI는 남성만 의사이고 간호사는 모두 여성이라는 결과를 반환할 수 있습니다.
  
  
• 회상 편향: 데이터 라벨링 중에 발생하며, 주관적인 관찰에 의해 레이블이 일관성 없이 적용될 때 발생합니다.
  
  
• 샘플/선택 편향: 머신 러닝 모델을 훈련하는 데 사용되는 데이터가 충분히 크지 않거나 대표성이 부족하거나 너무 불완전하여 시스템을 충분히 훈련할 수 없을 때 발생하는 문제입니다. AI 모델 학습을 위해 자문을 구한 모든 학교 교사의 학력이 동일하다면, 미래의 모든 교사도 동일한 학력을 갖춰야 할 것입니다.
  
  
• 고정관념 편향: 일반적으로 AI 시스템이 의도치 않게 해로운 고정관념을 강화할 때 발생합니다. 예를 들어, 언어 번역 시스템은 특정 언어를 특정 성별이나 민족적 고정관념과 연관시킬 수 있습니다. McKinsey는 데이터 세트에서 편견을 제거하려는 시도에 대해 경고하며 다음과 같이 설명합니다. "순진한 접근 방식은 데이터에서 보호 대상 속성(예: 성별이나 인종)을 제거하고 알고리즘에 편향을 일으키는 레이블을 삭제하는 것입니다. 하지만 이러한 방식은 삭제된 레이블이 모델이 데이터를 이해하는 방식에 영향을 미쳐 결과의 정확도를 낮출 수 있어 효과적이지 않을 수도 있습니다."⁸

편향 함정을 피하기 위한 첫 번째 단계는 처음부터 한 걸음 물러서서 AI 작업에 대해 생각해 보는 것입니다. 거의 모든 비즈니스 과제에서 그렇듯이, 문제가 발생하고 나서야 손상된 결과를 정리하는 것보다 미리 문제를 해결하는 것이 훨씬 쉽습니다. 그러나 많은 조직이 성급하게 진행하며 단기적인 비용 절감에 집중하다가 오히려 더 큰 비용을 초래하는 우를 범하고 있습니다.

AI의 편견을 파악하고 해결하려면 AI 거버넌스, 즉 조직의 AI 활동을 관리하고 모니터링하는 능력이 필요합니다. 실제로 AI 거버넌스는 AI 기술의 책임감 있는 개발과 사용을 안내하는 일련의 정책, 관행 및 프레임워크를 만듭니다. AI 거버넌스가 잘 수행되면 기업, 고객, 직원, 사회 전체에 균형 잡힌 혜택이 제공될 수 있습니다.

AI 거버넌스에는 공정성, 형평성 및 포용성을 평가하는 방법이 포함되는 경우가 많습니다. 사실과 반대되는 공정성과 같은 접근 방식은 모델의 성별, 인종 또는 성적 지향과 같은 민감한 속성이 포함된 경우에도 모델의 의사 결정에서 편향을 식별하고 공평한 결과를 보장합니다.

AI는 복잡하기 때문에 알고리즘은 알고리즘을 생성하는 데 사용된 데이터에 대한 인사이트가 거의 없는 블랙박스 시스템이 될 수 있습니다. 투명성 관행과 기술은 편향되지 않은 데이터를 사용하여 시스템을 구축하고 공정한 결과를 보장하는 데 도움이 됩니다. 고객의 정보를 보호하기 위해 노력하는 기업은 브랜드 신뢰를 구축하고 신뢰할 수 있는 AI 시스템을 만들 가능성이 더 높습니다.

또 다른 품질 보증 계층을 제공하려면 '휴먼 인 더 루프(Human-in-the-loop)' 시스템을 도입하여 옵션을 제공하거나 사람의 결정을 통해 승인할 수 있는 권장 사항을 제시하세요.

다음은 AI 프로그램이 편향되지 않도록 하는 6가지 프로세스 단계의 체크리스트입니다.

1. 올바른 학습 모델 선택:

• 지도 모델을 사용할 때는 이해관계자가 학습 데이터를 선택합니다. 이해관계자 팀은 데이터 과학자뿐만 아니라 다양해야 하며, 무의식적인 편견을 방지하는 데 도움이 되는 교육을 받은 사람으로 구성하는 것이 중요합니다.
  
• 비지도 모델은 AI만 사용하여 편향을 식별합니다. 편향 방지 도구를 신경망에 구축하여 편향된 것을 인식하는 방법을 학습시켜야 합니다.

2. 올바른 데이터로 학습: 잘못된 데이터로 학습된 머신 러닝은 잘못된 결과를 생성합니다. AI에 입력되는 모든 데이터는 고려 대상 그룹의 실제 인구 통계를 재현할 수 있도록 완전하고 균형 잡힌 데이터여야 합니다.

3. 균형 잡힌 팀 선택: 인종, 경제 수준, 교육 수준, 성별, 업무 내용 등 AI 팀의 구성이 다양할수록 편견을 인식할 가능성이 높아집니다. 균형 잡힌 AI 팀의 재능과 관점에는 AI 비즈니스 혁신가, AI 크리에이터, AI 구현자, 그리고 특정 AI 노력의 소비자를 대표하는 사람이 포함되어야 합니다.⁹

4. 신중한 데이터 처리 수행: 기업은 데이터를 처리할 때 각 단계에서 편향성을 인식해야 합니다. 위험은 데이터 선택에만 있는 것이 아닙니다. 사전 처리, 처리 중, 사후 처리 등 어느 단계에서든 편향이 개입하여 AI에 영향을 미칠 수 있습니다.

5. 지속적인 모니터링: 어떤 모델도 완전하거나 영구적이지 않습니다. 조직 전체의 실제 데이터를 사용하여 지속적으로 모니터링하고 테스트하면 편향이 문제를 일으키기 전에 이를 감지하고 수정하는 데 도움이 될 수 있습니다. 편향을 더욱 방지하기 위해 조직은 조직 내부의 독립적인 팀이나 신뢰할 수 있는 제3자의 평가를 고려해야 합니다.

6. 인프라 문제 방지: 사람과 데이터의 영향 외에도 인프라 자체가 편향을 유발할 수 있습니다. 예를 들어, 기계 센서에서 수집한 데이터를 사용하는 경우 센서가 오작동하면 장비 자체가 편향을 주입할 수 있습니다. 이러한 종류의 편향은 감지하기 어려울 수 있으며 최신 디지털 및 기술 인프라에 대한 투자가 필요합니다.