AI 할루시네이션이란 무엇인가요?

일반적으로 사용자가 생성형 AI 툴에 요청을 하는 경우, 사용자는 프롬프트에 적절하게 대응하는 아웃풋(즉, 질문에 대한 정답)을 원합니다. 그러나 때때로 AI 알고리즘은 학습 데이터를 기반으로 하지 않거나 트랜스포머에 의해 잘못 디코딩되거나 식별 가능한 패턴을 따르지 않는 아웃풋을 생성합니다. 즉, 응답을 '할루시네이션'합니다.

일반적으로 할루시네이션은 기계가 아닌 인간이나 동물의 뇌와 연관되어 있다는 점에서 이 용어는 역설적으로 보일 수 있습니다. 그러나 은유적인 관점에서 볼 때, 할루시네이션은 특히 이미지 및 패턴 인식의 경우(아웃풋이 정말 초현실적으로 보일 수 있는 경우) 이러한 아웃풋을 정확하게 설명합니다.

AI 할루시네이션은 인간이 가끔 구름 속의 형체나 달의 얼굴을 보는 것과 유사합니다. AI의 경우 과적합, 학습 데이터 편향/부정확성, 높은 모델 복잡성 등 다양한 요인으로 인해 이러한 잘못된 해석이 발생합니다.

생성형 오픈 소스 기술에서 발생하는 문제를 방지하는 것은 쉽지 않은 일입니다. AI 할루시네이션의 대표적인 예는 다음과 같습니다.

• Google의 Bard 챗봇이 제임스 웹 우주망원경이 태양계 밖에 있는 행성의 세계 최초 이미지를 포착했다고 잘못 주장함.¹

• Microsoft의 채팅 AI Sydney가 사용자와 사랑에 빠지고 Bing 직원을 감시했다는 사실을 인정함.²
  

• Meta에서 사용자에게 편견에 기반한 부정확한 정보를 제공한 후 2022년에 Galactica LLM 데모를 중단함.³ 

이후 이러한 문제 중 많은 부분이 해결되었지만, 최상의 상황에서도 AI 툴을 사용하면 예상치 못한 바람직하지 않은 결과가 발생할 수 있음을 쉽게 알 수 있습니다.

AI 할루시네이션은 실제 응용에 심각한 결과를 초래할 수 있습니다. 예를 들어 의료용 AI 모델이 양성 피부 병변을 악성으로 잘못 식별하여 불필요한 의료 개입을 초래할 수 있습니다. AI 할루시네이션 문제도 잘못된 정보의 확산으로 이어질 수 있습니다. 예를 들어 할루시네이션에 빠진 뉴스봇이 사실 확인이 되지 않은 정보로 긴급 상황 발생에 대한 쿼리에 응답하면 허위 사실이 빠르게 퍼져나가 완화 노력을 저해할 수 있습니다. 머신 러닝 알고리즘에서 할루시네이션의 중요한 원인 중 하나는 입력 편향입니다. AI 모델이 편향되거나 대표성이 없는 데이터로 구성된 데이터 세트로 학습된 경우 이러한 편향을 반영하는 패턴이나 특징이 할루시네이션으로 나타날 수 있습니다.

AI 모델은 또한 악의적인 공격자가 입력 데이터를 교묘하게 조정하여 AI 모델의 아웃풋을 조작하는 적대적 공격에 취약할 수 있습니다. 예를 들어 이미지 인식 작업에서 적대적 공격은 이미지에 소량의 특수 제작된 노이즈를 추가하여 AI가 이미지를 잘못 분류하도록 하는 것입니다. 이는 특히 사이버 보안 및 자율 주행 차량 기술과 같은 민감한 영역에서 심각한 보안 문제가 될 수 있습니다. AI 연구자는 적대적 공격으로부터 AI 툴을 보호하기 위한 장치를 지속적으로 개발하고 있습니다. 정상 예시와 적대적 예시를 혼합하여 모델을 학습시키는 적대적 학습과 같은 기법은 보안 문제를 강화하고 있습니다. 하지만 당분간은 학습과 사실 확인 단계에서 경계를 늦추지 않는 것이 가장 중요합니다.

AI 할루시네이션의 영향을 완화하는 가장 좋은 방법은 발생하기 전에 이를 차단하는 것입니다. 다음은 AI 모델이 최적으로 작동하도록 유지하기 위해 취할 수 있는 몇 가지 단계입니다.

생성형 AI 모델은 입력 데이터에 의존하여 작업을 완료하므로 학습 데이터 세트의 품질과 관련성에 따라 모델의 동작과 아웃풋의 품질이 결정됩니다. 할루시네이션을 방지하려면 AI 모델이 다양하고 균형 잡힌 정형 데이터를 기반으로 학습되도록 해야 합니다. 이렇게 하면 모델이 아웃풋 편향을 최소화하고 작업을 더 잘 이해하며 더 효과적인 아웃풋을 산출하는 데 도움이 됩니다.

AI 모델을 어떻게 사용할 것인지, 그리고 모델 사용에 대한 제한 사항을 자세히 설명하면 할루시네이션을 줄이는 데 도움이 됩니다. 팀이나 조직은 선택한 AI 시스템의 책임과 한계를 확립해야 합니다. 이렇게 하면 시스템이 작업을 더 효과적으로 완료하고 관련성이 없는 '할루시네이션' 결과를 최소화하는 데 도움이 됩니다.

데이터 템플릿은 팀에 사전 정의된 형식을 제공하여 AI 모델이 규정된 지침에 부합하는 아웃풋을 생성할 가능성을 높입니다. 데이터 템플릿을 사용하면 아웃풋의 일관성이 보장되고 모델이 잘못된 결과를 생성할 가능성이 줄어듭니다.

AI 모델은 가능한 결과를 제한하는 제약 조건이 없기 때문에 종종 할루시네이션을 일으킵니다. 이 문제를 방지하고 결과의 전반적인 일관성과 정확성을 개선하려면 필터링 툴 및/또는 명확한 확률적 임곗값을 사용하여 AI 모델의 경계를 정의합니다.

AI 모델을 사용하기 전에 엄격하게 테스트하는 것은 할루시네이션을 방지하는 데 매우 중요하며, 지속적으로 모델을 평가하는 것도 마찬가지입니다. 이러한 프로세스는 시스템의 전반적인 성능을 향상하고 데이터가 노후화되고 발전함에 따라 사용자가 모델을 조정 및 재학습할 수 있게 합니다.

사람이 AI의 아웃풋을 검증하고 검토하도록 하는 것은 할루시네이션을 방지하기 위한 마지막 안전장치입니다. 사람이 감독에 참여하면 AI가 할루시네이션을 일으킬 경우 사람이 이를 걸러내고 수정할 수 있습니다. 또한 인간 검토자는 주제에 대한 전문 지식을 제공하여 AI 콘텐츠의 정확성과 업무와의 관련성을 평가하는 능력을 향상할 수 있습니다.

AI 할루시네이션은 대부분의 경우 바람직하지 않은 결과인 것은 분명하지만, 조직에서 AI 할루시네이션의 창의적 잠재력을 긍정적으로 활용하는 데 도움이 되는 다양하고 흥미로운 사용 사례를 보여주고 있습니다. 예를 들면 다음과 같습니다.