EU AI 법은 위험도에 따라 AI 시스템을 여러 범주로 분류합니다. 여기서 위험이란 AI가 건강, 안전 또는 인권에 미칠 수 있는 잠재적 피해의 가능성과 심각성을 의미합니다. 

이 법은 크게 네 가지 범주의 AI 위험을 다룹니다.

·       허용할 수 없는 위험

·       고위험

·       제한적 위험

·       최소한의 위험

허용할 수 없는 수준의 위험을 초래하는 AI 애플리케이션은 금지됩니다. EU AI 법에는 다음을 포함하여 금지된 모든 AI 관행이 명시되어 있습니다.

• 의도적으로 사람들을 조작하여 다른 방법으로는 하지 않았을 해로운 선택을 하도록 하는 시스템.
  
  
• 개인의 연령, 장애, 사회적 또는 경제적 지위를 악용하여 행동에 실질적으로 영향을 미치는 시스템. 
  
  
• 생체 인식 데이터를 사용하여 인종, 성적 취향 또는 정치적 견해와 같은 민감한 개인 정보를 추론하는 생체 인식 분류 시스템입니다.
  
  
• 관련성이 없거나 중요하지 않은 행동과 특성을 사용하여 사람들에 대한 해로운 대우를 조장하는 사회적 점수 시스템.
  
  
• 법 집행 목적으로 공공 장소에서 사용되는 실시간 원격 생체 인식 시스템. 여기에는 특정 중대 범죄의 피해자를 대상으로 하는 검색에 이러한 도구를 사용하는 것과 같은 몇 가지 예외가 있습니다.
  
  
• 범죄를 저지를 가능성을 평가하기 위해 사람들의 프로필을 작성하는 예측 치안 시스템. 
  
  
• 인터넷 또는 CCTV 이미지의 비표적 스크래핑을 수행하는 얼굴 인식 데이터베이스.
  
  
• 학교나 직장에서 사용되는 감정 인식 도구(의료 또는 안전 목적으로 사용되는 경우 제외).

유럽위원회는 이 목록을 재검토하고 수정할 권리가 있으므로 앞으로 더 많은 AI 사용이 금지될 가능성이 있습니다.

이 법의 대부분은 고위험 AI 시스템을 다룹니다. EU AI 법에 따라 시스템이 고위험으로 간주되는 방법에는 두 가지가 있습니다. 규제 대상 제품에 사용되거나 명시적으로 고위험으로 명명되는 경우입니다. 

장난감, 무선 장비 및 의료 기기와 같은 일부 부문의 제품은 이미 기존 EU 법률의 규제를 받고 있습니다. 이러한 규제 대상 제품의 안전 구성 요소 역할을 하거나 규제 대상 제품 자체의 역할을 하는 모든 AI 시스템은 자동으로 고위험으로 간주됩니다. 

또한 이 법에는 항상 고위험으로 간주되는 특정 AI 사용도 나열되어 있습니다. 여기에는 다음이 포함됩니다.

• EU AI 법 또는 기타 EU 또는 회원국 법률에서 명시적으로 금지하지 않는 모든 생체인식 시스템(단, 지문 스캐너를 사용하여 뱅킹 앱에 대한 액세스 권한을 부여하는 등의 개인의 신원을 확인하는 시스템은 제외).
  
  
• 물, 가스 및 전기 공급과 같은 중요한 인프라의 안전 구성 요소로 사용되는 시스템.
  
  
• 교육 및 직업 훈련에 사용되는 시스템(학생 성과 모니터링, 부정 행위 감지 및 직접 입학 허가 시스템 포함).
  
  
• 채용 환경에서 사용되는 시스템(예: 후보자 모집, 지원자 평가 및 승진 결정에 사용되는 시스템).
  
  
• 공공 혜택에 대한 적격성을 평가하고 신용 점수를 평가하는 시스템을 포함하여 필수 민간 또는 공공 서비스에 대한 액세스를 결정하는 데 사용되는 시스템. 여기에는 금융 사기를 탐지하는 데 사용되는 시스템은 포함되지 않습니다.
  
  
• AI 지원 거짓말 탐지기 및 증거 분석과 같은 법 집행에 사용되는 시스템.
  
  
• 이민 및 국경 통제에 사용되는 시스템(예: 비자 신청을 처리하는 시스템). 여기에는 여행 서류를 확인하는 시스템은 포함되지 않습니다.
  
  
• 선거 결과에 직접적인 영향을 미치는 시스템과 같이 사법 및 민주적 절차에 사용되는 시스템.
  
  
• 프로파일링(개인 데이터를 자동으로 처리하여 제품 선호도와 같은 개인의 삶의 일부 측면을 평가하거나 예측하는 것)은 항상 위험성이 높습니다.

금지된 AI 목록과 마찬가지로, 유럽위원회는 향후 이 목록을 업데이트할 수 있습니다.

고위험 시스템 제공업체는 다음 규칙을 따라야 합니다.

• 지속적인 위험 관리 시스템을 구현하여 AI를 모니터링하고 수명 주기 전반에 걸쳐 규정 준수를 보장합니다. 제공업체는 시스템의 의도된 사용과 예측 가능한 오용으로 인해 발생하는 위험을 완화해야 합니다.
  
  
• 엄격한 데이터 거버넌스 표준을 채택하여 학습 및 테스트 데이터가 적절하게 수집, 처리 및 보호되도록 합니다. 또한 데이터는 고품질이어야 하고, 시스템의 목적과 관련이 있어야 하며, 편향이 없어야 합니다.
  
  
• 시스템 설계 사양, 기능, 제한 사항 및 규정 준수 노력에 대한 포괄적인 기술 문서를 유지 관리합니다.
  
  
• AI 도구에서 자동화된 이벤트 로그를 구현하여 시스템 운영을 추적하고, 결과를 추적하고, 위험 및 심각한 사고를 식별할 수 있습니다.
  
  
• AI 시스템 배포자에게 시스템 사용, 출력 해석 및 위험 완화 방법에 대한 명확한 지침을 포함하여 규정을 준수하는 데 필요한 정보를 제공합니다.
  
  
• 사용자가 시스템 작업을 모니터링, 재정의 및 개입할 수 있는 인터페이스를 제공하는 등 사람의 감독을 지원하고 가능하게 하는 시스템을 설계합니다.
  
  
• AI 시스템이 합리적으로 정확하고 견고하며 안전한지 확인합니다. 여기에는 백업 시스템 생성, 편향을 피하기 위한 알고리즘 설계, 적절한 사이버 보안 제어 구현이 포함될 수 있습니다.

AI 시스템이 고위험 범주 중 하나에 속하지만 건강, 안전 또는 권리에 심각한 위협이 되지 않는 경우 공급자는 이러한 요구 사항을 면제할 수 있습니다. 제공업체는 시스템이 위험하지 않다는 증거를 문서화해야 하며, 규제 기관은 시스템을 잘못 분류한 조직에 불이익을 줄 수 있습니다.

제한적 위험 AI 시스템은 특정 투명성 의무를충족하는 시스템으로, 위험 수준에 관계없이 특정 유형의 AI가 따라야 하는 규칙입니다. 이러한 규칙에는 다음이 포함됩니다.

• AI 시스템은 사용자가 인공 지능과 상호작용할 때 사용자에게 명확하게 알려야 합니다. 예를 들어, 챗봇은 사람들에게 자신이 챗봇이라고 알려야 합니다.
  
  
• 조직은 감정 인식 또는 생체 인식 분류 시스템을 사용할 때마다 사람들에게 이를 알려야 합니다. 이러한 시스템을 통해 수집된 모든 개인 데이터는 GDPR에 따라 처리되어야 합니다. 
  
  
• 텍스트, 이미지 또는 기타 콘텐츠를 생성하는 생성형 AI 시스템은 워터마크 또는 기타 기계가 읽을 수 있는 신호를 사용하여 해당 콘텐츠가 AI로 생성된 것임을 표시해야 합니다. 
  
  
• 배포업체는 딥페이크에 명확하게 라벨을 지정하고 이 사실을 청중에게 알려야 합니다.
  
  
• AI를 사용하여 뉴스 기사와 같은 공익 문제에 대한 텍스트를 생성하는 배포업체는 인간 편집자가 검토하고 책임을 지지 않는 한 텍스트에 AI 생성 라벨을 지정해야 합니다.

최소 위험 범주('최소 또는 위험 없음 범주'라고도 함)에는 사람과 직접 상호 작용하지 않거나 상호 작용할 때 실질적인 영향이 거의 없는 AI 도구가 포함됩니다. 이메일 스팸 필터와 비디오 게임의 AI를 예로 들 수 있습니다. 오늘날 많은 일반적인 AI 사용이 이 범주에 속합니다. 

AI 법의 규칙 대부분은 위험이 최소화된 AI에는 적용되지 않습니다(일부는 위에 나열된 투명성 의무를 충족해야 할 수 있음).

GPAI 모델은 적응력이 뛰어나기 때문에 위험 수준에 따라 분류하기 어려울 수 있습니다. 이러한 이유로 EU AI 법은 GPAI에 대해 명시적으로 별도의 규칙 세트를 만듭니다.

GPAI 모델의 모든 제공업체는 다음을 수행해야 합니다.

• 무엇보다도 모델의 설계, 테스트 및 교육 프로세스를 설명하는 업데이트된 기술 문서를 유지 관리합니다.
  
  
• 모델을 기반으로 AI 시스템을 구축하는 조직과 같은 모델 배포자에게 책임감 있게 모델을 사용하는 데 필요한 정보를 제공하세요. 이 정보에는 모델의 기능, 제한 사항 및 의도된 목적이 포함됩니다.
  
  
• EU 저작권법을 준수하기 위한 정책을 수립합니다.
  
  
• 학습 데이터 세트에 대한 자세한 요약을 작성하고 공개적으로 사용할 수 있도록 합니다.

대부분의 무료 오픈 소스 GPAI 모델은 처음 두 가지 요구 사항에서 제외됩니다. 저작권법을 준수하고 훈련 데이터 요약을 공유하기만 하면 됩니다.

EU AI 법에서는 일부 GPAI 모델을 시스템적 위험을 초래하는 것으로 간주합니다. 시스템적 위험은 모델이 공중 보건, 안전 또는 기본권에 심각하고 광범위한 피해를 입힐 수 있는 잠재력을 의미합니다. 

이 법에 따르면, 모델이 "영향력이 큰 능력"을 가지고 있는 경우 시스템적 위험을 초래한다고 합니다. 기본적으로 이는 모델의 기능이 당시 사용 가능한 가장 진보된 GPAI의 기능과 일치하거나 이를 능가한다는 것을 의미합니다. 

이 법은 교육 리소스를 시스템적 위험을 식별하는 주요 기준으로 사용합니다. 모델을 훈련하는 데 사용되는 누적 컴퓨팅 성능이 1,025개의 부동 소수점 연산(FLOP)을 초과하면 영향력이 큰 기능으로 간주되어 시스템적 위험이 발생할 수 있습니다. 

또한 유럽위원회는 해당 모델이 FLOPs 임계값을 충족하지 않더라도 고위험 기능에 상응하는 영향을 미친다고 판단하는 경우 해당 모델을 시스템적 위험으로 분류할 수 있습니다. 

무료 오픈 소스 모델을 포함하여 시스템적 위험을 초래하는 GPAI 모델은 위의 모든 요구 사항과 몇 가지 추가 의무를 충족해야 합니다.

• 적대적 테스트를 포함한 표준화된 모델 평가를 수행하여 시스템적 위험을 식별하고 완화합니다.
  
  
• 심각한 사고를 문서화하고 EU AI 사무소 및 관련 국가 수준 규제 기관에 보고합니다.
  
  
• 모델과 물리적 인프라를 보호하기 위해 적절한 보안 제어를 구현합니다.

GPAI 모델 제공업체는 EU AI 사무소가 현재 작성 중인 자발적 실행 강령을 채택하여 규정을 준수할 수 있습니다. 이 강령은 법 시행 후 9개월 이내에 완료될 예정입니다. 이러한 규정을 채택하지 않는 제공업체는 다른 방법으로 규정 준수를 입증해야 합니다. 

제공업체, 배포업체, 수입업체 및 유통업체는 일반적으로 자신이 제조, 사용 또는 유통하는 AI 제품이 규정을 준수하는지 확인할 책임이 있습니다. 이들은 규정 준수에 대한 증거를 문서화하고 요청 시 당국과 공유해야 합니다. 또한 AI 공급망의 모든 조직이 EU AI 법을 준수할 수 있도록 정보를 공유하고 서로 협력해야 합니다.

또한 공급자와 배포자는 조직을 대신하여 AI를 사용하는 직원 또는 기타 당사자가 AI를 책임감 있게 처리하는 데 필요한 AI 리터러시를 갖추도록 해야 합니다.

이러한 광범위한 요구 사항 외에도 각 당사자에게는 고유한 의무가 있습니다.

• 관련 요구 사항을 준수하도록 AI 시스템 및 모델을 설계합니다.
  
  
• 새로운 고위험 AI 제품을 시장에 출시하기 전에 적합성 평가를 위해 해당 당국에 제출합니다. 적합성 평가는 제품이 EU AI 법을 준수하는지에 대한 제3자 평가입니다. 
  
  
• 제공업체가 AI 제품의 목적을 변경하거나 규정 준수 상태에 영향을 미치는 중대한 변경을 하는 경우, 제공업체는 평가를 위해 제품을 다시 제출해야 합니다.
  
  
• EU 수준의 데이터베이스에 고위험 AI 제품을 등록합니다.
  
  
• 시판 후 모니터링 계획을 구현하여 AI 성능을 추적하고 시스템 수명 주기 동안 지속적인 규정 준수를 보장합니다.
  
  
• 사망, 중요 인프라 중단, 기본권 침해와 같은 심각한 AI 사고를 회원국 당국에 보고하고 필요에 따라 시정 조치를 취합니다. 

• AI 시스템을 의도된 목적과 공급자의 지시에 따라 사용하세요.
  
  
• 고위험 시스템에는 적절한 인적 감독이 이루어지도록 합니다.
  
  
• 제공업체, 유통업체, 당국 및 기타 관련 당사자에게 심각한 AI 인시던트를 알립니다.
  
  
• 회원국 법률에 따라 최소 6개월 이상 AI 시스템 로그를 유지합니다.
  
  
• 금융 기관, 정부 기관, 법 집행 기관과 같이 필수 서비스를 제공하기 위해 고위험 AI 시스템을 사용하는 배포업체는 AI를 처음 사용하기 전에 기본권 영향 평가를 수행해야 합니다.

수입업체와 유통업체는 유통하는 AI 시스템과 모델이 EU AI 법을 준수하는지 확인해야 합니다. 

수입업체 또는 유통업체가 제품에 자체 이름이나 상표를 부착하거나 제품을 크게 변경하는 경우 AI 제공업체로 간주됩니다. 이 경우 수입업체 또는 유통업체는 법에 명시된 모든 제공업체 책임을 부담해야 합니다.