지도 학습이란 무엇인가요?

레이블이 지정된 데이터 세트는 올바른 아웃풋 또는 답변 및 예제 데이터 포인트로 구성됩니다. 입력 데이터가 머신 러닝 알고리즘에 입력되면 데이터는 모델이 적절하게 맞춰질 때까지 매개변수를 조정합니다. 레이블이 지정된 학습 데이터는 '실측 정보'를 제공하여 특징과 데이터 레이블 간의 관계를 식별하도록 모델을 명시적으로 학습시킵니다.  

지도형은 조직이 스팸 분류 또는 주가 예측과 같은 다양한 실제 문제를 대규모로 해결하는 데 도움이 됩니다. 매우 정확한 머신 러닝 모델을 구축하는 데 사용할 수 있습니다.

실측 정보 데이터는 종종 사람의 주석이나 측정을 통해 실제 결과와 비교하여 검증하며, 모델을 학습, 검증, 테스트하는 데 사용됩니다. 이름에서 알 수 있듯이 실측 정보 데이터는 실제 가치와 결과를 반영하는 사실로 확인된 데이터입니다. 실측 정보는 주어진 입력 데이터에 대한 이상적인 아웃풋을 반영합니다.

지도 학습은 실측 정보 데이터에 의존하여 모델에 입력과 아웃풋 간의 관계를 학습시킵니다. 지도 학습에 사용되는 레이블이 지정된 데이터 세트는 실측 정보 데이터입니다. 학습된 모델은 해당 데이터에 대한 이해를 적용하여, 보이지 않는 새로운 데이터를 기반으로 예측을 수행합니다.

지도 학습 기법은 레이블이 지정된 데이터 세트를 사용하여 입력 데이터와 아웃풋 간의 관계를 이해합니다. 데이터 과학자는 입력 데이터와 해당 레이블이 포함된 실측 정보 학습 데이터 세트를 수동으로 만듭니다. 지도 학습은 실제 사용 사례에서 보이지 않는 데이터에 올바른 아웃풋을 적용하도록 모델을 학습시킵니다. 

학습 중 모델의 알고리즘은 대규모 데이터 세트를 처리하여 입력과 아웃풋 간의 잠재적 상관 관계를 탐색합니다. 그런 다음 테스트 데이터로 모델 성능을 평가하여 성공적으로 학습되었는지 여부를 확인합니다. 교차 검증은 데이터 세트의 다른 부분을 사용하여 모델을 테스트하는 프로세스입니다. 

확률적 경사 하강법(SGD)을 포함한 경사 하강법 알고리즘군은 신경망 및 기타 머신 러닝 모델을 훈련할 때 가장 일반적으로 사용되는 최적화 알고리즘 또는 학습 알고리즘입니다. 모델의 최적화 알고리즘은 모델의 예측과 실제 값 간 차이를 측정하는 방정식인 손실 함수를 통해 정확도를 평가합니다. 

손실 함수는 예측이 실제 값과 얼마나 멀리 떨어져 있는지 측정합니다. 경사는 오류를 줄이기 위해 모델의 매개변수를 조정해야 하는 방향을 나타냅니다. 학습 전반에 걸쳐 최적화 알고리즘은 모델을 최적화하기 위해 모델의 매개변수(운영 규칙 또는 '설정')를 업데이트합니다.

대규모 데이터 세트에는 일반적으로 많은 특징이 포함되므로 데이터 과학자는 차원 축소를 통해 이러한 복잡성을 단순화할 수 있습니다. 이 데이터 과학 기술은 데이터 레이블을 예측하는 데 가장 중요한 특징의 수를 줄여 정확도를 유지하면서 효율성을 높입니다.

지도 학습의 예로는 차량의 이미지를 인식하고 차량 유형을 파악하기 위해 생성된 이미지 분류 모델이 있습니다. 이러한 모델은 많은 웹사이트가 스팸 봇을 탐지하는 데 사용하는 CAPTCHA 테스트를 지원할 수 있습니다. 

이 모델을 학습시키기 위해 데이터 과학자는 수많은 차량 예시와 해당 차량 유형(자동차, 오토바이, 트럭, 자전거 등)을 포함하는 레이블이 지정된 학습 데이터 세트를 준비합니다. 모델의 알고리즘은 입력(차량 이미지)이 지정된 아웃풋(차량 유형)을 수신하도록 하는 학습 데이터의 패턴을 식별하려고 시도합니다. 

모델의 추측을 테스트 세트의 실제 데이터 값과 비교하여 정확한 예측을 했는지 확인합니다. 그렇지 않은 경우, 모델의 성능이 만족스러운 수준의 정확도에 도달할 때까지 학습 주기가 지속됩니다. 일반화 원칙은 학습된 모델이 학습 데이터와 동일한 분포의 새로운 데이터에 대해 적절한 예측을 할 수 있는 능력을 의미합니다.

지도 학습 과제는 대체로 분류 문제와 회귀 문제로 나뉩니다.

머신 러닝에서 분류는 알고리즘을 사용하여 데이터를 카테고리로 분류합니다. 데이터 세트 내의 특정 엔터티를 인식하고 해당 엔터티에 레이블을 지정하거나 정의하는 방법을 파악하려고 시도합니다. 일반적인 분류 알고리즘으로는 선형 분류기, 지원 벡터 머신(SVM), 의사결정트리, K-최근접 이웃(KNN), 로지스틱 회귀, 랜덤 포레스트 등이 있습니다.

신경망은 복잡한 분류 문제를 처리하는 데 매우 뛰어납니다. 신경망은 인간의 뇌를 모방한 노드 레이어를 사용하여 학습 데이터를 처리하는 딥 러닝 아키텍처입니다. 각 노드는 입력, 가중치, 편향(임곗값) 및 출력으로 구성됩니다. 출력값이 지정된 임곗값을 초과하면 노드가 '실행'되거나 활성화되어 데이터를 네트워크의 다음 레이어로 전달합니다. 

회귀 분석은 종속변수와 독립변수 간의 관계를 이해하는 데 사용됩니다. 회귀 문제에서 아웃풋은 연속값이며, 모델은 목표 아웃풋 예측을 시도합니다. 회귀 작업은 판매 수익 또는 재무 계획에 대한 예측 등을 포함됩니다. 

회귀 알고리즘에는 선형 회귀, 라쏘 회귀, 릿지 회귀가 포함되며 다항식 회귀는 회귀 알고리즘의 세 가지 예입니다.

앙상블 학습은 여러 모델이 동일한 분류 또는 회귀 작업에 대해 학습되는 지도 학습에 대한 메타 접근 방식입니다. 풀에 있는 모든 모델의 결과가 집계되어 문제를 해결하기 위한 최상의 전체 접근 방식을 찾습니다.

더 큰 앙상블 모델 내의 개별 알고리즘을 약한 학습자 또는 기본 모델이라고 합니다. 일부 약한 학습자는 편향이 높은 반면, 다른 학습자는 편차가 큽니다. 이론적으로 결과는 각각의 가장 좋은 부분을 결합하여 편향-분산 절충 을 완화합니다.

경사 하강과 같은 최적화 알고리즘은 지도 학습 작업에 탁월한 다양한 머신 러닝 알고리즘을 훈련합니다. 

• 나이브 베이즈: 나이브 베이즈는 베이즈 정리의 클래스 조건부 독립성 원칙을 채택합니다. 즉, 한 특징의 존재가 주어진 결과의 확률에 다른 특징의 존재에 영향을 미치지 않으며, 각 예측 변수는 해당 결과에 동일한 영향을 미칩니다.

  나이브 베이즈 분류기에는 다항식 나이브 베이즈, 베르누이 나이브 베이즈, 가우시안 나이브 베이즈가 있습니다. 이 기술은 텍스트 분류, 스팸 식별 및 추천 시스템에 자주 사용됩니다. 

• 선형 회귀: 선형 회귀 모델은 연속 종속 변수와 하나 이상의 독립 변수 간의 관계를 식별하는 데 사용되며 일반적으로 미래 결과를 예측하는 데 활용됩니다.

  선형 회귀는 변수 간의 관계를 직선으로 표현합니다. 독립변수와 종속변수가 하나 있는 경우를 단순 선형 회귀라고 합니다. 독립 변수의 수가 많아질 때는 이 기법을 다중 선형 회귀라고 합니다.. 

• 비선형 회귀: 때로는 선형 입력에서 아웃풋을 재현할 수 없습니다. 이러한 경우 아웃풋은 비선형 함수로 모델링해야 합니다. 비선형 회귀는 비선형 선 또는 곡선을 통해 변수 간의 관계를 표현합니다. 비선형 모델은 많은 매개변수가 있는 복잡한 관계를 처리할 수 있습니다. 

• 로지스틱 회귀:  로지스틱 회귀는 참 또는 거짓 , 양수 또는 음수와 같은 아웃풋이 있는 경우 카테고리형 종속 변수를 처리합니다. 선형 회귀 모델과 로지스틱 회귀 모델 모두 데이터 입력 간의 관계를 이해하려고 하지만, 로지스틱 회귀는 주로 스팸 식별과 같은 이진 분류 문제를 해결합니다. 

• 다항식 회귀: 다른 회귀 모델과 마찬가지로 다항식 회귀는 그래프에서 변수 간 관계를 모델링합니다. 다항식 회귀에 사용되는 함수는 지수도를 통해 이 관계를 표현합니다. 다항식 회귀는 입력 특징에 거듭제곱을 적용하여여 선형 모델이 비선형 패턴에 적합하도록 하는 회귀의 특별한 경우입니다. 

• 지원 벡터 머신(SVM):  지원 벡터 머신은 데이터 분류와 회귀 모두에 사용되며, 일반적으로 분류 문제를 처리합니다. 여기서 SVM은 결정 경계 또는 초평면을 사용하여 데이터 포인트 클래스를 구분합니다. SVM 알고리즘의 목표는 데이터 포인트 그룹 간의 거리를 최대화하는 초평면을 플롯팅하는 것입니다. 

• K-최근접 이웃: K-최근접 이웃(KNN)은 데이터 포인트의 근접성 및 사용 가능한 다른 데이터와의 연관성을 기반으로 데이터 포인트를 분류하는 비모수 알고리즘입니다. 이 알고리즘은 수학적으로 플롯팅 시 유사한 데이터 포인트가 서로 근처에서 발견될 수 있다고 가정합니다.

  사용이 간편하고 계산 시간이 짧아 추천 엔진 및 이미지 인식에 사용할 때 효율적이지만, 테스트 데이터 세트가 커질수록 처리 시간이 길어지므로 분류 작업에는 적합하지 않습니다. 

• 랜덤 포레스트: 랜덤 포레스트는 분류와 회귀 목적 모두에 사용되는 유연한 지도 머신 러닝 알고리즘입니다. '포레스트'는 상관 관계가 없는 의사결정트리의 컬렉션을 참조하며, 이러한 트리는 분산을 줄이고 정확도를 높이기 위해 함께 병합됩니다. 

지도 학습이 머신 러닝 모델을 훈련시키는 유일한 학습 방법은 아닙니다. 다음과 같은 다른 유형의 머신 러닝도 있습니다. 

• 비지도 학습

• 준지도 학습 

• 자기 지도 학습

• 강화 학습 

지도 학습과 비지도 학습의 차이점은 비지도 머신 러닝은 객관적인 실측 정보 없이 레이블이 지정되지 않은 데이터를 사용한다는 것입니다. 모델은 데이터의 패턴과 관계를 자체적으로 발견합니다. 많은 생성형 AI 모델이 처음에는 비지도 학습으로 훈련된 후 도메인 전문성을 높이기 위해 지도 학습으로 훈련됩니다. 

비지도 학습은 데이터 세트 내 공통 속성이 불확실한 클러스터링 또는 연관 문제를 해결하는 데 도움이 될 수 있습니다. 일반적인 클러스터링 알고리즘은 계층적, k-평균, 가우스 혼합 모델입니다.

• 탐색적 분석: 비지도 학습은 '무엇을 찾아야 하는지'를 알 수 없을 때 유용합니다. 데이터에서 인간이 예상하지 못하는 숨겨진 구조나 이상 징후를 발견할 수 있습니다.

• 데이터 레이블 없음: 대부분의 실제 데이터는 레이블이 지정되지 않으며 데이터에 레이블을 지정하는 데는 많은 시간과 노력이 필요합니다.

• 유연성: 비지도 학습 모델은 데이터를 자율적으로 처리하는 능력으로 인해 새로운 데이터에 빠르게 적응할 수 있습니다.

• 확장성: 비지도 학습 기술은 실측 정보 레이블이 필요하지 않아 대규모 데이터 세트로 쉽게 확장될 수 있습니다.

• 부정확한 결과: 실측 정보의 기반이 없으면 비지도 학습 모델이 올바르게 학습되었는지 여부를 즉시 알 수 없습니다.

• 민감도: 노이즈가 많은 데이터 세트는 학습 결과에 부정적인 영향을 미칠 수 있습니다. 특징 엔지니어링은 데이터 세트를 정규화하여 보다 원활한 비지도 학습을 지원합니다.

• 좋은 데이터에 대한 의존: 모든 학습에는 좋은 데이터가 필요합니다. 그러나 객관적인 실측 정보가 없으면 데이터의 편향이나 기타 오류로 인해 이러한 오해를 강화하는 모델이 생성될 수 있습니다.

준지도 학습에는 레이블이 지정되지 않은 데이터의 더 큰 부분과 함께 레이블이 지정된 입력 데이터의 작은 부분에 대해 모델을 학습시키는 작업이 포함됩니다. 도메인 전문성에 의존하여 지도 학습에 적합한 데이터 레이블을 지정하면 시간과 비용이 많이 들 수 있으므로 준지도 학습이 매력적인 대안이 될 수 있습니다.

• 라벨링에 대한 의존도가 낮음: 반지도 학습은 지도 학습에 비해 라벨링이 덜 필요하므로 모델 학습에 대한 진입 장벽이 낮아집니다.
   

• 숨겨진 패턴 발견: 준지도 학습은 비지도 학습과 마찬가지로 레이블이 지정되지 않은 데이터를 사용하면 눈에 띄지 않을 수 있는 패턴, 관계 및 이상 징후를 발견할 수 있습니다.
   

• 더욱 유연함: 준지도 학습은 실측 정보 데이터를 통해 기반을 만든 다음, 레이블이 지정되지 않은 데이터 세트로 이를 보강하여 모델을 더 일반화할 수 있도록 합니다.

• 노이즈 민감도: 노이즈 수준이 높고 레이블이 지정되지 않은 데이터 세트는 학습 결과에 부정적인 영향을 미쳐 모델 성능을 약화시킬 수 있습니다.
   

• 편향 민감도: 레이블이 지정되지 않은 데이터 세트에서 암묵적 편향을 걸러내지 못하면 해당 편향이 학습 중인 모델로 전달될 수 있습니다.
   

• 복잡성 증가: 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 단일 학습 프로세스로 통합하려면 복잡한 데이터 처리 기술이 필요하거나 더 많은 계산 리소스가 필요할 수 있습니다.

자기 지도 학습(SSL)은 종종 지도 학습과 비지도 학습을 연결하는 것으로 설명됩니다. SSL 작업은 수동으로 생성된 지도 학습 데이터 세트의 레이블을 사용하는 대신, 모델이 자체적인 감독 신호(암시적 또는 의사 레이블)를 생성하고 비정형 데이터에서 실측 정보를 식별할 수 있도록 구성됩니다. 그런 다음 모델의 손실 함수는 이렇게 생성된 레이블을 실제 레이블 대신 사용하여 모델의 성능을 평가합니다.

SSL은 사전 학습된 모델이 다운스트림 작업에 적용되는 프로세스인 전이 학습에 자주 사용됩니다. 자기 감독 학습은 레이블을 지정하는 데 엄청난 비용과 시간이 소요되는 대규모 데이터 세트를 필요로 하는 컴퓨팅 비전 및 자연어 처리(NLP) 작업에서 널리 사용됩니다.

• 효율성: 데이터 과학자가 데이터 포인트에 레이블을 지정하는 대신, SSL이 작업을 모델로 이전하여 레이블 지정 프로세스를 자동화합니다.

• 확장성: SSL은 수동 데이터 레이블 지정에 대한 의존도가 낮기 때문에 레이블이 지정되지 않은 데이터의 대규모 풀로 확장하는 데 적합합니다.
   

• 라벨링에 대한 낮은 의존도: 레이블이 지정된 실측 정보 데이터가 희박한 경우 SSL은 모델에서 생성된 이해를 통해 부족분을 보완합니다.
   

• 다목적성: 자기 지도 모델은 많은 도메인별 멀티모달 작업에 대해 미세 조정할 수 있으며 풍부하고 양도 가능한 특징을 학습합니다.

• 컴퓨팅 집약적: 레이블이 지정되지 않은 데이터 세트를 처리하고 레이블을 생성하는 데 많은 컴퓨팅 성능이 필요합니다.
   

• 복잡성: 지도 학습을 위한 사전 텍스트 작업을 만드는 프로세스(초기 학습 단계)에는 높은 수준의 전문성이 필요합니다.
   

• 잠재적으로 신뢰할 수 없음: 인간의 감독을 없애는 다른 학습 기법과 마찬가지로 결과가 데이터에 과도한 노이즈, 암묵적 편향, 모델의 이해에 부정적인 영향을 미칠 수 있는 기타 요인이 없는지에 달려 있습니다.

강화 학습은 로봇과 자율주행 자동차와 같은 자율주행 에이전트가 환경 상호 작용을 통해 결정을 내리도록 훈련합니다. 강화 학습은 레이블이 지정된 데이터를 사용하지 않으며, 데이터 세트 내 기본 패턴을 식별하는 것이 아니라 시행착오와 보상을 통해 가르친다는 점에서 비지도 학습과 다릅니다.

• 복잡한 작업 해결: 시행착오 학습 프로세스를 통해 모델은 복잡한 전략적 과제에 접근하는 방법을 파악할 수 있습니다.
   

• 라벨링에 의존하지 않음: 모델은 입력과 아웃풋을 일치시키며 이론적 방식이 아닌 경험적으로 학습합니다.
   

• 자체 수정: 모델이 학습 중에 잘못하면 자신의 행동을 교정합니다.
   

• 적응성: 모델은 결과가 미리 정의되지 않은 새로운 정보와 변화하는 상황에 적응할 수 있습니다.

• 일관성 없는 결과가 나오기 쉬움: 시행착오 학습은 특히 처음 학습을 시작할 때 무작위적이고 예측할 수 없는 것처럼 보일 수 있습니다.
   

• 환경 데이터 요구 사항: 강화 학습은 모델이 행동의 결과로부터 학습해야 하며, 이를 위해서는 대량의 환경 데이터가 필요합니다. 그러나 에이전트는 시뮬레이션 환경에서도 학습할 수 있습니다.
   

• 보상 해킹: 모델은 보상 알고리즘의 허점을 악용하여 작업을 적절하게 수행하지 못한 채 보상을 생성할 수 있습니다.
   

• 작업별: 강화 학습은 특정 기능에 대한 모델 학습에 탁월합니다. 이러한 모델은 학습한 내용을 새로운 작업으로 이전하는 데 어려움을 겪을 수 있습니다.

지도 학습 모델은 다음과 같은 비즈니스 애플리케이션을 구축하고 발전시킬 수 있습니다. 

• 이미지 및 객체 인식: 지도 학습 알고리즘은 동영상이나 이미지에서 객체를 찾고, 분리하고, 분류하는 데 사용할 수 있어 다양한 컴퓨팅 비전 기술과 이미지 분석 과제에 적용할 때 유용합니다.

• 예측 분석:  지도 학습 모델은 예측 분석 시스템을 만들어 인사이트를 제공합니다. 이를 통해 기업은 아웃풋 변수를 기반으로 특정 결과를 예측하고 데이터 기반의 의사 결정을 내릴 수 있으므로 비즈니스 리더가 의사 결정을 정당화하거나 조직의 이익을 위해 방향을 전환하는 데 도움이 됩니다.

  또한 의료 서비스 제공자는 회귀를 통해 환자 기준과 역사적 데이터를 기반으로 결과를 예측할 수 있습니다. 예측 모델은 환자의 생물학적 데이터 및 생활 방식 데이터를 기반으로 환자가 특정 질병 또는 상태를 겪을 위험을 평가할 수 있습니다. 

• 고객 감정 분석: 조직은 사람의 개입이 거의 없이도 대량의 데이터에서 컨텍스트, 감정, 의도를 비롯한 중요한 정보를 추출하고 분류할 수 있습니다. 감정 분석은 고객 상호 작용을 더 잘 이해하고 브랜드 참여 노력을 개선하는 데 유용하게 활용될 수 있습니다. 

• 고객 세분화: 회귀 모델은 다양한 특성과 과거 추세를 기반으로 고객 행동을 예측할 수 있습니다. 기업은 예측 모델을 사용하여 고객 기반을 세분화하고 구매자 페르소나를 만들어 마케팅 활동과 제품 개발을 개선할 수 있습니다. 

• 스팸 감지: 지도 학습 모델의 또 다른 예는 스팸 감지입니다. 조직은 지도 분류 알고리즘을 사용하여 새로운 데이터의 패턴이나 이상 징후를 인식하도록 데이터베이스를 학습시켜 스팸 및 비스팸 관련 메일을 효과적으로 구분할 수 있습니다. 

• Forecasting: 회귀 모델은 과거 추세에 기반한 예측에 데 탁월하므로 금융 산업에서 사용하기에 적합합니다. 또한 기업은 회귀를 사용하여 재고 수요를 예측하고, 직원 급여를 산정하고, 잠재적인 공급망 장애를 방지할 수 있습니다. 

• 추천 엔진: 콘텐츠 제공업체와 온라인 마켓플레이스는 지도 학습 모델을 활용하여 고객의 선택, 선호도 및 구매를 분석하고 전환 가능성이 더 높은 맞춤형 추천을 제공하는 추천 엔진을 구축할 수 있습니다.

지도 학습은 심층적인 데이터 인사이트와 향상된 자동화 등의 이점을 비즈니스에 제공할 수 있지만, 일부 상황에는 최적의 선택이 아닐 수 잇습니다. 

• 인력 제약: 지도 학습 모델을 정확하게 구성하려면 특정 수준의 전문 지식이 필요할 수 있습니다. 

• 인간의 참여: 지도 학습 모델은 자기 학습이 불가능합니다. 데이터 과학자는 모델의 성능 아웃풋을 검증해야 합니다. 

• 시간 요구 사항: 데이터 세트가 크고 수동으로 레이블을 지정해야 하므로 지도 학습 프로세스에 시간이 많이 걸립니다. 

• 유연성 부족: 지도 학습 모델은 데이터 세트의 범위를 벗어난 데이터에 레이블을 지정하는 데 어려움을 겪습니다. 비지도 학습 모델은 새 데이터를 더 잘 처리할 수 있습니다. 

• 편향: 데이터 세트가 사람의 실수와 편향을 포함할 가능성이 높기 때문에 알고리즘이 잘못 학습될 수 있습니다. 편향은 불균형한 학습 데이터 세트, 잘못된 주석 관행 또는 데이터에 반영된 과거 불평등으로 인해 발생할 수 있습니다.

• 과적합: 지도 학습은 간혹 과적합(모델이 데이터 세트에 지나치게 맞춤화되는 경우)을 초래할 수 있습니다. 훈련의 정확도가 높다는 것은 일반적으로 강력한 성능과 달리 과적합을 나타낼 수 있습니다. 과적합을 방지하려면 학습 데이터와 다른 데이터로 모델을 테스트해야 합니다.