준지도 학습과 완전 지도 학습의 가장 큰 차이점은 후자는 완전히 레이블이 지정된 데이터 세트만을 사용하여 학습할 수 있는 반면, 전자는 학습 과정에서 레이블이 지정된 데이터 샘플과 레이블이 지정되지 않은 데이터 샘플을 모두 사용한다는 점입니다. 준지도 학습 기법은 레이블이 지정되지 않은 예제의 정보를 통합하기 위해 지도 알고리즘(이 맥락에서는 '기본 학습자'라고 함)을 수정하거나 보완합니다. 레이블이 지정된 데이터 포인트는 기본 학습자의 예측의 근거를 마련하고 학습 문제에 구조(예: 존재하는 클래스 수와 각 클래스의 기본 특성)를 추가하는 데 사용됩니다.

분류 모델을 학습의 목표는 정확한 결정 경계, 즉 한 분류 카테고리의 데이터 포인트와 다른 분류 카테고리에 속한 데이터 포인트를 구분하는 선(2차원 이상의 데이터의 경우 '표면' 또는 초평면)을 학습하는 것입니다. 완전 지도 분류 모델은 기술적으로 몇 개의 레이블이 지정된 데이터 포인트만으로 결정 경계를 학습할 수 있지만, 실제 사례에 잘 일반화되지 않아 모델의 예측을 신뢰할 수 없게 만들 수 있습니다.

고전적인 '반달' 데이터 세트는 레이블이 지정된 데이터 포인트가 너무 적은 지도 모델의 단점을 시각화하여 보여줍니다. '올바른' 결정 경계는 두 개의 반달을 각각 구분하지만, 지도 학습 모델에서는 레이블이 지정된 데이터 포인트가 너무 적기 때문에 과적합할 가능성이 높습니다. 레이블이 지정되지 않은 데이터 포인트는 유용한 컨텍스트를 명확하게 전달하지만, 기존의 지도 알고리즘은 레이블이 지정되지 않은 데이터를 처리할 수 없습니다.

준지도(및 완전지도) 학습과 달리 비지도 학습 알고리즘은 레이블이 지정된 데이터나 손실 함수를 사용하지 않습니다. 비지도 학습은 모델 정확도를 측정하고 최적화할 수 있는 '기준 데이터' 컨텍스트를 사용하지 않습니다.

특히 대규모 언어 모델의 경우 점점 더 보편화되고 있는 준지도 접근 방식은 모델이 레이블이 지정되지 않은 데이터 세트의 의미 있는 표현을 학습해야 하는 비지도 작업을 통해 모델을 '사전 학습'하는 것입니다. 이러한 작업에 (수동 데이터 주석이 없는) '기준 데이터'과 손실 함수가 포함되는 경우 이를 자기 지도 학습이라고 합니다. 레이블이 지정된 소량의 데이터에 대한 후속 '지도 미세 조정'을 거친 후, 사전 학습된 모델은 종종 완전 지도 모델과 비슷한 성능을 달성할 수 있습니다.

비지도 학습 방법은 많은 시나리오에서 유용할 수 있지만, 컨텍스트가 부족하기 때문에 자체적으로 분류하는 데는 적합하지 않을 수 있습니다. 예를 들어, 데이터 요소를 서로의 근접성에 따라 미리 결정된 수의 클러스터로 그룹화하는 일반적인 클러스터링 알고리즘이 반달 데이터 세트를 어떻게 처리할지 살펴보겠습니다.

준지도 학습과 자기 지도 학습은 모두 레이블이 지정된 데이터를 대량으로 필요로 하지 않는 것을 목표로 하지만, 준지도 학습은 레이블이 지정된 데이터를 일부 포함하는 반면, 오토인코더와 같은 자기 지도 학습 방법은 완전히 비지도 방식입니다.

지도(및 준지도) 학습에는 레이블이 지정된 데이터 형태의 외부 '기준 데이터'가 필요하지만, 자가 지도 학습 작업은 레이블이 지정되지 않은 샘플의 기본 구조에서 기준 데이터를 도출합니다. 많은 자기 지도 학습 작업은 그 자체로는 유용하지 않으며, 후속 '다운스트림 작업'의 목적에 유용한 데이터 표현을 모델에 가르치는 데 유용합니다. 따라서 이러한 작업은 종종 '프리텍스트 작업'이라고 불립니다.

따라서 자기 지도 프리텍스트 작업은 지도 다운스트림 작업과 결합하면 모델 학습에 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 사용하는 학습 방법인 준지도 학습 프로세스의 일부를 구성하게 됩니다.

준지도 학습(SSL)의 필수 조건은 모델 학습에 사용되는 레이블이 없는 예제가 모델이 수행하도록 학습 중인 작업과 관련성이 있어야 한다는 것입니다. 좀 더 공식적으로 SSL은 입력 데이터의 분포 p(x)에 사후 분포 p(y|x), 즉 주어진 데이터 포인트(x)가 특정 클래스(y)에 속할 조건부 확률에 대한 정보가 포함되어야 합니다. 예를 들어, 레이블이 없는 데이터를 사용하여 고양이 사진과 개 사진을 구별하는 이미지 분류기를 학습시키는 경우, 학습 데이터 세트에는 고양이와 개 이미지가 모두 포함되어야 하며 말과 오토바이 이미지는 도움이 되지 않습니다.

이와 관련하여 2018년 준지도 학습 알고리즘에 대한 연구에 따르면 "레이블이 없는 데이터의 양을 늘리면 SSL 기술의 성능이 향상되는 경향이 있다"면서도 "일치하지 않는 클래스 세트에서 레이블이 없는 데이터를 추가하면 레이블이 없는 데이터를 전혀 사용하지 않는 것보다 오히려 성능이 저하될 수 있다"는 사실도 밝혀졌습니다.¹

p(x)가 p(x|y)와 의미 있는 관계를 갖는다는 기본 조건은 그 관계의 본질에 대한 여러 가정을 야기합니다. 이러한 가정은 전부는 아니더라도 대부분의 SSL 방법의 원동력으로서, 일반적으로 모든 준지도 학습 알고리즘은 다음 가정 중 하나 이상이 명시적 또는 암묵적으로 충족되는 것을 전제로 합니다.

클러스터 가정은 동일한 클러스터에 속하는 데이터 포인트(사용 가능한 다른 데이터 포인트보다 서로 더 유사한 데이터 포인트 집합)는 동일한 클래스에 속한다는 가정입니다.

클러스터 가정은 그 자체로 독립적인 가정으로 간주되기도 하지만, van Engelen과 Hoos는 클러스터 가정을 '다른 가정을 일반화한 것'이라고 설명하기도 합니다.² 이러한 관점에서 데이터 포인트 클러스터의 결정은 어떤 유사성 개념을 사용하는지에 따라 달라지는데, 평활도 가정, 저밀도 가정 및 매니폴드 가정은 각각 '유사한' 데이터 포인트를 구성하는 요소에 대한 다른 정의를 활용할 뿐입니다.

평활도 가정은 입력 공간(x에 대해 가능한 모든 값의 집합)에서 두 데이터 포인트인 x와 x'가 서로 가까우면 그 레이블인 y와 y'도 같아야 한다는 가정입니다.

연속성 가정이라고도 하는 이 가정은 대부분의 지도 학습에 공통적으로 적용됩니다. 예를 들어 분류기는 학습 중에 각 관련 클래스의 의미 있는 근사치(또는 '표현')를 학습하고, 학습이 완료되면 가장 유사한 표현을 통해 새로운 데이터 포인트의 분류를 결정합니다.

SSL의 맥락에서 평활도 가정은 레이블이 지정되지 않은 데이터에 전이적으로 적용된다는 추가적인 이점이 있습니다. 다음과 같이 데이터 포인트 3개가 포함된 시나리오를 살펴보겠습니다.

• 레이블이 지정된 데이터 포인트 x₁
• 레이블이 지정되지 않은 데이터 포인트 x₂(x₁에 가까움)
• 또 다른 레이블이 지정되지 않은 데이터 포인트 x₃(x₂에 가깝지만 x₁에는 가깝지 않음)

평활도 가정에 따르면 x₂는 x₁과 동일한 레이블을 가져야 합니다. 또한 x₃도 x₂와 동일한 레이블을 가져야 합니다. 따라서 x₃이 x₂에 근접해 있기 때문에 x₁의 레이블이 x₃으로 과도적으로 전파되므로 세 데이터 포인트 모두 동일한 레이블을 갖는다고 가정할 수 있습니다.

저밀도 가정은 클래스 간의 결정 경계가 고밀도 영역을 통과하지 않아야 한다는 가정입니다. 다시 말해, 결정 경계는 데이터 포인트가 거의 없는 영역에 있어야 합니다.

따라서 저밀도 가정은 클러스터 가정(데이터 포인트의 고밀도 클러스터가 클래스 간의 경계가 아니라 클래스를 나타낸다는 점에서)과 평활도 가정(여러 데이터 포인트가 서로 가까이 있으면 레이블을 공유하므로 결정 경계의 같은 쪽에 속한다는 점에서)의 연장선상에서 생각할 수 있습니다.

이 다이어그램은 평활도와 저밀도 가정이 레이블이 지정된 (극소수의) 데이터 포인트만 고려하는 지도 방식보다 훨씬 더 직관적인 결정 경계를 알려줄 수 있는 방법을 보여줍니다.

매니폴드 가정은 고차원 입력 공간이 모든 데이터 포인트가 놓여 있는 여러 저차원 매니폴드로 구성되며, 동일한 매니폴드의 데이터 포인트는 동일한 레이블을 공유한다고 가정합니다.

직관적인 예를 위해 종이를 구겨서 공 모양으로 만든 것을 생각해 보세요. 구형 표면의 모든 점 위치는 3차원 x,y,z 좌표로만 매핑할 수 있습니다. 하지만 구겨진 공을 다시 종이로 평평하게 만들면 동일한 점을 2차원 x,y 좌표로 매핑할 수 있습니다. 이를 차원 축소라고 하며, 오토인코더나 컨볼루션과 같은 방법을 사용해 수학적으로 구현할 수 있습니다.

머신 러닝에서 차원은 익숙한 물리적 차원이 아니라 데이터의 각 속성이나 특징에 해당합니다. 예를 들어 머신 러닝에서 32x32 픽셀 크기의 작은 RGB 이미지는 3,072개의 차원을 가지며, 1,024개의 픽셀에 각각 빨강, 초록, 파랑의 세 가지 값을 포함합니다. 이렇게 많은 차원을 가진 데이터 포인트를 비교하는 것은 어려운 작업입니다. 복잡하고 계산 리소스가 많이 필요하며, 고차원 공간의 대부분이 현재 작업에 의미 있는 정보를 포함하지 않기 때문입니다.

매니폴드 가정은 모델이 관련 없는 정보를 버리는 적절한 차원 축소 함수를 학습하면 서로 다른 데이터 포인트가 더 의미 있는 표현으로 수렴하여 다른 SSL 가정이 더 신뢰할 수 있다고 보고 있습니다.

귀납적 방법은 전체(레이블이 있는 데이터와 없는 데이터) 입력 공간을 모델링할 수 있는 분류기를 학습하는 것을 목표로 하는 반면, 변환적 방법은 레이블이 없는 데이터에 대한 레이블 예측만 산출하는 것을 목표로 합니다. 변환적 학습에 사용되는 알고리즘은 새로 레이블이 지정된 데이터를 사용하여 학습할 지도 분류기 모델에서 사용할 알고리즘과 크게 관련이 없습니다.

레이블 전파는 평활도 가정과 클러스터 가정을 사용하여 레이블이 지정되지 않은 데이터 포인트에 대한 레이블 할당을 레이블이 지정된 데이터 포인트와의 상대적 근접성을 기반으로 계산하는 그래프 기반 알고리즘입니다.

이 알고리즘의 기본 원리는 노드에 레이블이 있든 없든 사용 가능한 모든 데이터 포인트가 있는 완전히 연결된 그래프를 매핑할 수 있다는 것입니다. 두 노드가 유클리드 거리(ibm.com 외부 링크)와 같이 선택한 거리 측정값에 따라 가까울수록 알고리즘에서 두 노드 사이의 에지에 더 많은 가중치가 부여됩니다. 레이블이 지정된 데이터 포인트에서 시작하여 레이블은 평활도 및 클러스터 가정을 사용하여 레이블이 지정되지 않은 인접한 데이터 포인트를 통해 반복적으로 전파됩니다 .

능동적 학습 알고리즘은 데이터 포인트의 레이블 지정은 자동화하지 않으며, 대신 SSL에서 수동으로 레이블을 지정할 경우 가장 유용한 정보를 제공할 레이블이 없는 샘플을 결정하는 데 사용됩니다.³ 준지도 환경에서 능동적 학습을 사용하면 긍정적인 결과를 얻을 수 있습니다. 예를 들어, 최근 연구에 따르면 시맨틱 분할을 위해 모델을 효과적으로 훈련하는 데 필요한 레이블이 지정된 데이터의 양이 절반 이상 줄어든 것으로 나타났습니다.⁴

귀납적 SSL 방법은 일반적으로 의사 레이블 지정 단계, 비지도 전처리 단계 또는 모델의 목적 함수에 직접 통합하는 등 레이블이 지정되지 않은 데이터를 통합하는 방식에 따라 구분할 수 있습니다.

기존의 지도 알고리즘을 준지도 설정으로 확장하는 비교적 간단한 방법은 먼저 사용 가능한 레이블이 지정된 데이터로 모델을 학습시키거나 적절한 기존 분류기를 사용하여 레이블이 지정되지 않은 데이터 포인트에 대한 의사 레이블 예측을 생성하는 것입니다. 그런 다음 원래 레이블이 지정된 데이터와 의사 레이블이 지정된 데이터를 구분하지 않고 모두 사용하여 모델을 다시 학습시킬 수 있습니다.

래퍼 방법의 가장 큰 장점은 단순성 외에도 거의 모든 유형의 지도 기반 학습자와 호환된다는 점입니다. 대부분의 래퍼 방법은 잠재적으로 부정확한 의사 레이블 예측을 강화할 위험을 줄이기 위해 몇 가지 정규화 기법을 도입합니다.
 

자기 학습
자기 학습은 기본적인 래퍼 방법입니다. 예를 들어, 단순히 '개'를 출력하는 대신 '개 85%, 고양이 15%'를 출력하는 모델과 같이 결정론적인 의사 레이블 예측이 아닌 확률론적인 의사 레이블 예측이 필요합니다.

확률론적 의사 레이블 예측을 사용하면 엔트로피 최소화와 유사한 프로세스를 통해 자기 학습 알고리즘이 특정 신뢰 임계값을 초과하는 예측만 허용할 수 있습니다.⁵ 이 프로세스는 의사 분류 프로세스를 최적화하거나 특정 수의 의사 레이블 샘플에 도달하기 위해 반복적으로 수행될 수 있습니다.

공동 학습
공동 학습 방법은 의사 레이블을 할당하기 위해 지도를 받는 기본 학습자를 다수 훈련시킴으로써 자기 학습 개념을 확장합니다.

이러한 다양화는 잘못된 초기 예측을 강화하는 경향을 줄이기 위한 것입니다. 따라서 각 기본 학습자의 예측이 서로 강한 상관관계를 갖지 않도록 하는 것이 중요합니다. 일반적인 접근 방식은 각 분류기마다 다른 알고리즘을 사용하는 것입니다. 또 다른 방법은 각 분류기가 데이터의 다른 하위 집합에 초점을 맞추는 것입니다. 예를 들어 비디오 데이터에서 한 기본 학습자는 시각 데이터에 대해, 다른 학습자는 오디오 데이터에 대해 학습하는 식입니다.

레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 동시에 사용하는 래퍼 방식(및 본질적으로 준지도 알고리즘)과 달리, 일부 SSL 방식은 레이블이 지정되지 않은 데이터와 레이블이 지정된 데이터를 별도의 단계인 비지도 전처리 단계와 지도 단계로 구분하여 사용합니다.

래퍼 방법과 마찬가지로 이러한 기법은 기본적으로 모든 지도 기반 학습자에 사용할 수 있습니다. 그러나 래퍼 방법과 달리, '메인' 지도 모델은 궁극적으로 원래 (사람이 주석을 단) 레이블이 지정된 데이터 포인트에 대해서만 학습됩니다.

이러한 사전 처리 기술은 레이블이 없는 데이터에서 유용한 특징을 추출하는 것부터 레이블이 없는 데이터 요소를 사전 클러스터링하는 것, 지도 모델의 초기 매개변수를 결정하기 위해 '사전 훈련'을 사용하는 것(자기 지도 학습에서 수행되는 프리텍스트 작업과 유사한 프로세스)에 이르기까지 다양합니다.
 

클러스터 후 레이블 지정
간단한 준지도 기법 중 하나는 비지도 알고리즘을 사용하여 모든 데이터 포인트(레이블이 지정된 것과 레이블이 지정되지 않은 것 모두)를 클러스터링하는 것입니다. 클러스터링 가정을 활용하면 이러한 클러스터를 사용하여 독립적인 분류기 모델을 훈련하거나, 특정 클러스터의 레이블이 지정된 데이터 포인트가 모두 같은 클래스인 경우 레이블이 지정되지 않은 데이터 포인트에 의사 레이블을 지정하고 래퍼 방법과 유사한 방식으로 진행할 수 있습니다.

이 글 앞부분의 '반달' 예제에서 알 수 있듯이, k-최근접 이웃과 같은 단순한 방법으로는 부적절한 예측을 도출할 수 있습니다. 저밀도 가정을 구현하는 DBSCAN과 같은 보다 정교한 클러스터링 알고리즘⁶은 더 높은 신뢰도를 달성했습니다.

사전 학습 및 특징 추출
비지도(또는 자가지도) 사전 학습을 통해 모델에서 입력 공간의 유용한 표현을 학습할 수 있으므로 지도 학습으로 모델을 미세 조정하는 데 필요한 레이블이 지정된 데이터의 양을 줄일 수 있습니다.

일반적인 접근 방식은 신경망(종종 오토인코더)을 사용하여 입력 데이터의 임베딩 또는 특징 표현을 학습한 다음, 이렇게 학습한 특징을 사용하여 지도 기반 학습자를 학습시키는 것입니다. 여기에는 종종 차원 축소가 수반되어 다양체 가정을 활용하는 데 도움이 됩니다.

일부 SSL 메서드는 별도의 의사 레이블 지정 또는 전처리 단계에서 레이블이 없는 데이터를 처리하지 않고 기본 학습자의 목적 함수로 직접 레이블이 없는 데이터를 처리합니다.
 

준지도 지원 벡터 머신
서로 다른 카테고리의 데이터 포인트를 선형적으로 분리할 수 없는 경우, 즉 카테고리 간의 경계를 깔끔하고 정확하게 정의할 수 없는 경우, SVM(지원 벡터 머신) 알고리즘은 데이터를 하이퍼플레인으로 카테고리를 구분할 수 있는 고차원 특징 공간에 매핑합니다. 이 결정 경계를 결정할 때 SVM 알고리즘은 결정 경계와 가장 가까운 데이터 포인트 사이의 마진을 최대화합니다. 이는 실제로 저밀도 가정을 적용합니다.

지도 설정에서 정규화 용어는 레이블이 지정된 데이터 포인트가 의사 결정 경계의 잘못된 쪽에 속할 때 알고리즘에 불이익을 줍니다. 준지도 SVM(S3VM)에서는 레이블이 지정되지 않은 데이터 포인트(분류를 알 수 없음)에 대해서는 이러한 작업이 불가능하므로, S3VM은 규정된 마진 내에 있는 데이터 포인트에도 불이익을 줍니다.

내재적 준지도 딥러닝 모델
다양한 신경망 아키텍처가 준지도 학습에 적용되었습니다. 이러한 아키텍처에서 일반적으로 사용되는 손실 조건을 추가하거나 수정하여 레이블이 지정되지 않은 데이터 포인트를 학습에 통합할 수 있습니다.

제안된 준지도 딥러닝 아키텍처에는 래더 네트워크,⁷ 의사 앙상블,⁸ 시간 앙상블,⁹ 그리고 생성적 대립 네트워크(GANS)에 대한 일부 수정이 포함됩니다.¹⁰