AI 투명성이란 무엇인가요?

연구자들은 인공 지능을 '블랙박스'라고 표현하기도 하는데, 이는 기술의 복잡성이 증가함에 따라 AI 결과를 설명, 관리 및 규제하기가 여전히 어려울 수 있기 때문입니다. AI 투명성은 이 블랙박스를 열어 AI 결과와 모델이 의사 결정을 내리는 방식을 더 잘 이해할 수 있도록 도와줍니다.

금융, 의료, 인사(HR), 법 집행 등 점점 더 많은 고위험 산업에서 의사 결정을 위해 AI 모델에 의존하고 있습니다. 이러한 모델이 훈련되는 방식과 결과를 결정하는 방식에 대한 사람들의 이해를 높이면 AI 의사 결정과 이를 사용하는 조직에 대한 신뢰가 높아집니다.

AI 창작자는 정보를 공개함으로써 투명하고 신뢰할 수 있는 AI를 구현할 수 있습니다. 이들은 기본 AI 알고리즘의 논리와 추론, 모델 학습에 사용된 데이터 입력, 모델 평가 및 검증에 사용된 방법 등을 문서화하고 공유할 수 있습니다. 이를 통해 이해관계자는 공정성, 편차 및 편향성에 대해 모델의 예측 정확도를 평가할 수 있습니다.

책임감 있는 AI에는 높은 수준의 투명성이 필수적입니다. 책임감 있는 AI는 AI의 설계, 개발, 배포 및 사용을 안내하는 데 도움이 되는 일련의 원칙입니다. 이는 AI 시스템의 보다 광범위한 사회적 영향과 이러한 기술을 이해관계자의 가치, 법적 기준 및 윤리적 고려 사항에 맞게 조정하는 데 필요한 조치를 고려합니다.

생성형 AI 챗봇, 가상 에이전트 및 추천 엔진과 같은 AI 애플리케이션은 현재 전 세계 수천만 명의 사람들이 매일 사용하고 있습니다. 이러한 AI 툴의 작동 방식에 대한 투명성은 이러한 수준의 낮은 위험 의사 결정에는 문제가 되지 않을 수 있습니다. 모델이 부정확하거나 편향된 것으로 판명되더라도 사용자는 시간이나 소득을 조금 잃는 정도일 것이기 때문입니다.

그러나 더 많은 분야에서 중요한 의사 결정에 정보를 제공하기 위해 AI 애플리케이션을 도입하고 있습니다. 예를 들어, 이제 AI는 기업과 사용자가 투자 선택, 의료 진단, 고용 결정, 형사 판결 등을 내리는 데 도움을 줍니다. 이러한 경우 편향되거나 부정확한 AI 아웃풋의 잠재적 결과는 훨씬 더 위험합니다. 사람들은 평생 저축한 돈, 경력 기회 또는 인생의 몇 년을 잃을 수 있습니다.

이해관계자가 AI가 자신을 대신하여 효과적이고 공정한 결정을 내리고 있다고 신뢰하려면 모델 작동 방식, 알고리즘의 논리, 모델의 정확성과 공정성을 평가하는 방법에 대한 가시성이 필요합니다. 또한 데이터 소스와 데이터 처리, 가중치 부여 및 라벨 지정 방법을 포함하여 모델을 학습하고 조정하는 데 사용되는 데이터에 대해 더 많이 알아야 합니다.

AI 투명성은 신뢰를 구축하는 것 외에도 전체 AI 에코시스템에서 지식 공유 및 협업을 촉진하여 AI 개발의 발전에 기여합니다. 또한 기본적으로 투명성을 유지함으로써 조직은 AI 기술을 사용하여 비즈니스 목표를 달성하는 데 더 집중할 수 있으며 AI 신뢰성에 대한 걱정을 덜 수 있습니다.

AI 사용을 둘러싼 규제 요건은 끊임없이 진화하고 있습니다. 투명한 모델 프로세스는 이러한 규정을 준수하고 모델 검증자, 감사자 및 규제 기관의 요청을 처리하는 데 매우 중요합니다. EU AI 법은 AI에 대한 세계 최초의 포괄적인 규제 프레임워크로 간주됩니다.

유럽연합(EU)의 인공 지능 법은 규제에 대해 위험 기반 접근 방식을 취해 AI가 초래하는 위험에 따라 다른 규칙을 적용합니다. 이는 일부 AI 사용을 전면적으로 금지하고 다른 AI에 대해서는 엄격한 거버넌스, 위험 관리 및 투명성 요건을 구현합니다. 특정 유형의 AI에는 추가적인 투명성 의무가 있습니다. 예를 들면 다음과 같습니다.

• 개인과 직접 상호 작용하는 AI 시스템은 문맥상 개인이 명백히 알 수 있는 경우가 아니라면 사용자가 AI 시스템과 상호 작용하고 있음을 알 수 있도록 설계되어야 합니다. 예를 들어, 챗봇은 사용자에게 챗봇임을 알리도록 설계되어야 합니다.
  
  
• 텍스트, 이미지 또는 기타 특정 콘텐츠를 생성하는 AI 시스템은 기계가 읽을 수 있는 형식을 사용하여 아웃풋을 AI 생성 또는 조작됨으로 표시해야 합니다. 예를 들어, 딥페이크, 즉 누군가가 하지 않은 행동이나 말을 한 것처럼 보이도록 조작된 이미지 또는 동영상을 생성하는 AI가 여기에 포함됩니다.

EU의 일반 데이터 보호 규정(GDPR)의 시행으로 다른 국가에서도 개인 정보 보호 규정을 도입하게 되었습니다. 마찬가지로 전문가들은 EU AI 법이 전 세계적으로 AI 거버넌스 및 윤리 표준 개발에 박차를 가할 것으로 예측하고 있습니다.

대부분의 국가와 지역에서는 아직 AI 사용에 관한 포괄적인 법률이나 규정을 제정하지 않았지만, 몇 가지 광범위한 프레임워크가 마련되어 있습니다. 이는 항상 시행 가능한 것은 아니지만 향후 규제와 AI의 책임 있는 개발 및 사용을 안내하기 위해 존재합니다. 주목할 만한 예는 다음과 같습니다.

• 안전하고 보안이 유지되며 신뢰할 수 있는 인공 지능의 개발과 사용에 관한 백악관 행정 명령: 2023년 10월 30일에 발표(2025년 1월 20일에 폐지)된 이 행정 명령은 여러 섹션에서 투명성을 다루고 있습니다. 섹션 8에서는 소비자, 환자, 승객 및 학생 보호에 대해 구체적으로 다룹니다. 이는 독립 규제 기관이 AI 위험으로부터 미국 소비자를 보호하기 위해 권한을 사용하는 것을 고려하도록 장려합니다. 여기에는 'AI 모델의 투명성과 규제 대상 기관의 AI 모델 사용에 대한 설명 능력과 관련된 요구 사항 및 기대 사항을 강조하거나 명확히 하는 것'이 포함됩니다.¹
  
  
• AI 권리장전을 위한 청사진: 청사진은 AI 시스템의 설계, 사용 및 배포를 안내하는 데 도움이 되는 5가지 원칙과 관련 관행의 집합입니다. 네 번째 원칙인 '고지 및 설명'은 투명성을 직접적으로 다루고 있습니다. 이 원칙에 따르면, '자동화된 시스템의 설계자, 개발자 및 배포자는 전체 시스템 기능 및 자동화가 수행하는 역할에 대한 명확한 설명, 해당 시스템이 사용 중이라는 사실, 시스템을 담당하는 개인 또는 조직, 명확하고 시의적절하며 접근 가능한 결과에 대한 설명을 포함하여 일반적으로 접근 가능한 일반 언어로 문서를 제공해야 합니다.'²
  
  
• 히로시마 AI 프로세스 종합 정책 프레임워크: G7 히로시마 정상회담에서 개발된 후 2023년에 출범한 히로시마 AI 프로세스는 안전하고 신뢰할 수 있는 AI를 촉진하는 고급 AI 시스템의 전 세계 개발을 위한 일련의 지침 원칙입니다. 이 프레임워크는 조직이 11가지 원칙을 준수할 것을 요구하며, 그 중 일부는 '투명성 보고서 게시'와 '책임감 있는 정보 공유'를 장려합니다.³

AI 투명성은 AI 설명 가능성 및 AI 해석 가능성의 개념과 밀접한 관련이 있습니다. 이러한 개념은 오랫동안 지속되어 온 '블랙박스' 문제, 즉 AI 시스템이 너무 정교하여 인간이 해석할 수 없다는 실용적이고 윤리적인 문제를 해결하는 데 도움이 되는 인사이트를 제공합니다. 그러나 이 세 가지는 다음과 같은 고유한 정의와 사용 사례를 가지고 있습니다.

• AI 설명 가능성: 모델이 어떻게 이러한 결과에 도달했나요?
  
  
• AI 해석 가능성: 모델은 어떻게 결정을 내리나요?
  
  
• AI 투명성: 모델이 어떻게 만들어졌고, 어떤 데이터로 훈련되었으며, 어떻게 의사 결정을 내리나요?

AI 설명 가능성 또는 설명 가능한 AI(XAI)는 인간 사용자가 머신 러닝 모델에서 생성된 결과와 아웃풋을 이해하고 신뢰할 수 있도록 하는 일련의 프로세스 및 방법입니다. 모델 설명 가능성은 AI 시스템이 특정 결과에 도달하는 방법을 살펴보고 모델 투명성을 특성화하는 데 도움이 됩니다.

AI 해석 가능성은 전체 AI 프로세스를 사람이 이해할 수 있도록 만드는 것을 의미합니다. 따라서 AI 시스템의 기본 논리, 중요성 및 예상되는 결과에 대한 의미 있는 정보를 제공합니다. 이는 AI 아웃풋의 결과에 대해 인간이 예측할 수 있는 성공률을 나타내며, 설명 가능성은 한 걸음 더 나아가 AI 모델이 어떻게 그 결과에 도달했는지를 살펴봅니다.

AI 투명성은 단순히 AI 의사 결정 프로세스를 설명하는 것 이상의 의미를 갖습니다. 여기에는 AI 훈련 데이터 및 이에 액세스할 수 있는 사람과 같은 AI 시스템 개발 및 배포와 관련된 요소가 포함됩니다.

AI 투명성을 제공하는 것은 사용 사례, 조직 및 산업에 따라 다르지만 기업이 AI 시스템을 구축할 때 염두에 둘 수 있는 몇 가지 전략이 있습니다. 높은 수준에서 이러한 전략에는 신뢰와 투명성에 대한 명확한 원칙을 수립하고, 이러한 원칙을 실행하며, 전체 AI 라이프사이클에 적용하는 것이 포함됩니다.

AI 투명성에 대한 보다 구체적인 전략은 AI 라이프사이클의 모든 단계에서 정보를 철저히 공개하는 것입니다. 정보를 공개하려면 조직은 공유할 정보와 공유 방법을 결정해야 합니다.

모델 사용 사례, 업계, 대상 및 기타 요소는 공개해야 하는 정보를 결정하는 데 도움이 됩니다. 예를 들어, 모기지 평가와 같이 위험도가 높은 AI 사용은 위험도가 낮은 애플리케이션(가상 어시스턴트를 위한 오디오 분류 등)보다 더 포괄적인 공개가 필요할 수 있습니다.

공개에는 모델에 대한 다음 정보의 전부 또는 일부가 포함될 수 있습니다.

• 모델명
• 목적
• 위험 수준
• 모델 정책
• 모델 생성
• 의도된 도메인
• 훈련 데이터
• 훈련 및 테스트 정확도
• 편향
• 적대적 견고성 메트릭
• 공정성 메트릭
• 설명 가능성 메트릭
• 연락처 정보

AI 라이프사이클의 각 역할은 정보를 제공하여 개인이 아닌 에코시스템 전체에 책임을 분배할 수 있습니다. 정보 수집 및 기타 AI 거버넌스 활동을 자동화하는 데 도움이 되는 소프트웨어 플랫폼과 툴이 있습니다.

조직은 AI 투명성을 위한 정보를 인쇄된 문서 또는 비디오와 같은 다양한 형식으로 제공할 수 있습니다. 정보의 형식은 대상과 사용 사례에 따라 달라집니다. 소비자를 대상으로 하는 정보라면 쉽게 이해할 수 있어야 하지 않을까요? 또는, 데이터 과학자나 규제 기관을 대상으로 한다면 높은 수준의 기술적 세부 정보가 필요하지 않을까요?

형식에는 다음이 포함될 수 있습니다.

• 제품이 특정 표준 또는 기술 규정을 준수함을 보여주기 위해 많은 산업에서 사용되는 문서인 공급업체의 적합성 선언(SDoC)을 모델로 한 실제 문서
  
  
• 조직이 투명한 AI 이니셔티브를 실행하는 방법을 자세히 설명하는 회사 웹사이트의 공식 정책 페이지
  
  
• AI가 제품 및 서비스에서 어떻게 사용되는지, 그리고 AI가 고객 경험에 어떤 영향을 미치는지 사용자가 이해하는 데 도움이 되는 문서 및 비디오와 같은 교육 리소스
  
  
• 공식 홍보 활동, 이벤트, 소셜 미디어 및 기타 커뮤니케이션을 통한 조직의 윤리적 AI 관점에 대한 대중과의 대면 담론
  
  
• 조직의 산업 또는 사용 사례 내에서 AI의 사용, 개발 및 이점에 대한 인사이트를 제공하기 위한 연구 논문, 데이터 세트 및 기타 데이터 기반 커뮤니케이션

투명한 AI 관행에는 많은 이점이 있지만, 안전과 개인정보 보호 문제가 발생하기도 합니다. 예를 들어, AI 프로젝트의 내부 작동 방식에 대한 정보가 많을수록 해커가 취약점을 찾아 악용하기가 더 쉬워질 수 있습니다. OpenAI는 GPT-4 기술 보고서에서 이 문제를 다음과 같이 언급하며 정확히 해결했습니다.

"경쟁이 치열한 환경과 GPT-4와 같은 대형 모델이 안전에 지니는 의의를 모두 감안하여 이 보고서는 (모델 규모를 포함한) 아키텍처, 하드웨어, 학습 컴퓨팅, 데이터 세트 구조, 학습 방법 및 기타 유사 사항에 관한 추가적인 세부 정보를 포함하지 않습니다."⁴

이 인용문은 또한 투명성과 지적 재산 보호 사이의 절충이라는 또 다른 AI 투명성 과제를 보여주기도 합니다. 다른 장애물로는 비전문가에게 복잡한 프로그램과 머신 러닝 알고리즘(예: 신경망)을 명확하게 설명해야 한다는 점, 전 세계적으로 AI에 대한 투명성 표준이 부족하다는 점 등이 있습니다.