지도 학습은 데이터 마이닝 시 분류와 회귀라는 두 가지 유형의 문제로 구분될 수 있습니다.

• 분류는 알고리즘을 사용하여 테스트 데이터를 특정 범주에 정확하게 할당합니다. 데이터 세트 내의 특정 엔터티를 인식하고 해당 엔터티에 레이블을 지정하거나 정의하는 방법에 대한 결론을 도출하려고 시도합니다. 일반적인 분류 알고리즘으로는 선형 분류기, 서포트 벡터 머신(SVM), 의사 결정 트리, K-최근접 이웃, 랜덤 포레스트 등이 있습니다. 이에 대해서는 아래에서 자세히 설명합니다.

• 회귀 분석은 종속변수와 독립변수 간의 관계를 이해하는 데 사용됩니다. 일반적으로 특정 비즈니스의 판매 수익과 같은 예측을 수행하는 데 사용됩니다. 선형 회귀, 로지스틱 회귀 및 다항식 회귀는 널리 사용되는 회귀 알고리즘입니다.

다양한 알고리즘과 계산 기술이 지도형 머신러닝 프로세스에 사용되며, 종종 Python과 같은 프로그램을 사용하여 계산됩니다. 지도 학습 알고리즘에는 다음이 포함됩니다.

• 에이다부스트 또는 그래디언트 부스팅: 적응형 부스팅⁷이라고도 하는 이 기법은 성능이 떨어지는 회귀 알고리즘을 더 약한 알고리즘과 결합하여 오류가 적은 더 강력한 알고리즘을 구축합니다. 부스팅은 여러 기본 추정기의 예측 능력을 결합합니다.

• 인공 신경망: ANN, 신경망 또는 시뮬레이션 신경망(SNN)이라고도 알려진 인공 신경망은 머신러닝 기술의 하위 집합으로 딥러닝 알고리즘의 핵심입니다. 학습자 알고리즘은 뉴런이라는 빌딩 블록을 사용하여 입력 데이터의 패턴을 인식하고, 지속해서 훈련되고 수정되는 인간 뇌의 뉴런을 근사화합니다. (자세한 내용은 '신경망'을 참조하세요.)

• 의사 결정 트리 알고리즘:  숫자 값(회귀 문제)을 예측하고 데이터를 범주로 분류하기 위해 사용되는 의사 결정 트리는 트리 다이어그램으로 나타낼 수 있는 연결된 의사 결정의 분기 시퀀스를 사용합니다. 의사 결정 트리의 장점 중 하나는 신경망의 블랙박스와 달리 검증 및 감사가 쉽다는 것입니다.

• 차원 감소: 선택한 데이터 집합에 많은 수의 특징이 있는 경우⁷ 데이터 집합은 높은 차원을 가집니다. 그런 다음 차원 감소를 통해 기능 수를 줄여 가장 의미 있는 인사이트나 정보만 남깁니다. 주성분 분석이 그 예입니다.

• K-최근접 이웃: KNN이라고도 하는 이 비모수 알고리즘은 사용 가능한 다른 데이터와의 근접성 및 연관성을 기준으로 데이터 포인트를 분류합니다. 유사한 데이터 포인트가 서로 근처에서 발견될 수 있다고 가정합니다. 그 결과, 일반적으로 유클리드 거리를 사용해 데이터 포인트 간의 거리를 계산한 다음 가장 빈도가 높은 카테고리 또는 평균을 기준으로 카테고리를 할당합니다. 

• 선형 회귀: 선형 회귀는 종속 변수와 하나 이상의 독립 변수 간의 관계를 식별하기 위해 사용되며 일반적으로 미래 결과를 예측하는 데 활용됩니다. 독립변수와 종속변수가 하나만 있는 경우를 단순 선형 회귀라고 합니다.

• 로지스틱 회귀: 선형 회귀는 종속 변수가 연속적인 경우 활용되지만, 로지스틱 회귀는 종속 변수가 범주형인 경우, 즉 '참(True)' 및 '거짓(False)' 또는 '예(Yes)' 및 '아니오(No)'와 같이 이진 출력이 있는 경우 선택됩니다. 두 회귀 모델 모두 데이터 입력 간의 관계를 이해하려고 하지만, 로지스틱 회귀는 주로 스팸 식별과 같은 이진 분류 문제를 해결하는 데 사용됩니다.

• 신경망: 주로 딥러닝 알고리즘에 활용되는 신경망은  노드 레이어를 통해 인간 두뇌의 상호 연결성을 모방하여 입력 훈련 데이터를  처리합니다. 각 노드는 입력, 가중치, 바이어스(임곗값) 및 출력으로 구성됩니다. 해당 출력값이 지정된 임곗값을 초과하면 노드를 '실행'하거나 활성화하여 데이터를 네트워크의 다음 레이어로 전달합니다. 신경망은 경사하강법 과정을 통해 손실 함수를 기반으로 한 조정을 통해 학습합니다. 비용 함수가 0이거나 0에 가까우면 모델의 정확성을 확신할 수 있습니다.

• 나이브 베이즈: 이 접근 방식은 베이즈 정리의 클래스 조건부 독립성 원칙을 채택합니다. 즉, 한 특징의 존재가 주어진 결과의 확률에 다른 특징의 존재에 영향을 미치지 않으며, 각 예측 변수는 해당 결과에 동일한 영향을 미칩니다. 나이브 베이즈 분류기에는 다항식 나이브 베이즈, 베르누이 나이브 베이즈, 가우시안 나이브 베이즈의 세 가지 유형이 있습니다.이 기술은 주로 텍스트 분류, 스팸 식별 및 추천 시스템에 사용됩니다.

• 랜덤 포레스트: 랜덤 포레스트에서 머신러닝 알고리즘이 여러 의사 결정 트리의 결과를 결합하여 값 또는 카테고리를 예측합니다. '포레스트'는 상관 관계가 없는 의사 결정 트리를 의미하며, 분산을 줄이고 보다 정확한 예측을 가능하게 하기 위해 조합됩니다.

• 서포트 벡터 머신 (SVM): 이 알고리즘은 데이터 분류와 회귀 분석에 모두 사용될 수 있지만, 일반적으로 두 클래스의 데이터 포인트 간의 거리가 최대인 초평면을 구성하는 분류 문제에 사용됩니다. 이 초평면은 결정 경계로 알려져 있으며, 평면의 양쪽에 있는 데이터 포인트의 클래스(예: 오렌지 vs 사과)를 구분합니다.

지도 학습과 달리 비지도 학습은 레이블이 지정되지 않은 데이터를 사용합니다. 알고리즘은 이 데이터로부터 클러스터링 또는 연관 문제를 해결하는 데 도움이 되는 패턴을 발견합니다. 이는 주제별 전문가가 데이터 세트 내의 공통 속성을 잘 모를 때 특히 유용합니다. 일반적인 클러스터링 알고리즘은 계층적, K-평균, 가우스 혼합 모델 및 PCA 및 t-SNE와 같은 차원 감소 방법입니다.

• 클러스터링: 이 알고리즘은 데이터의 패턴을 식별하여 그룹화할 수 있습니다. 클러스터링 알고리즘은 인간이 간과한 데이터 항목 간의 차이점을 식별하여 데이터 과학자를 도울 수 있습니다.

• 계층적 클러스터링: 데이터를 클러스터 트리로 그룹화합니다.⁸ 계층적 클러스터링은 모든 데이터 포인트를 별도의 클러스터로 처리하는 것으로 시작됩니다. 그런 다음, 이러한 단계를 1) 서로 가장 가까운 두 개의 클러스터를 식별하는 단계, 2) 최대 비교 가능한 두 개의 클러스터를 병합하는 단계의 순서로 반복적으로 실행합니다. 이 단계는 모든 클러스터가 병합될 때까지 계속됩니다.

• K-평균 클러스터링: 레이블이 없는 데이터 내 그룹을⁹ 서로 유사한 데이터 그룹을 찾아 다른 클러스터로 식별합니다. 'K-평균'이라는 이름은 클러스터를 정의하는 데 사용하는 $k$ 구심점에서 유래했습니다. 특정 클러스터의 중심에 있는 포인트가 다른 중심에 있는 포인트보다 더 가까우면 특정 클러스터에 할당됩니다.

준지도 학습 알고리즘

이 경우 학습은 주어진 입력 데이터의 일부에만 레이블이 지정되었을 때 발생하므로 알고리즘에 약간의 '유리한 출발점'을 제공합니다. 이 접근 방식은 지도 머신러닝과 관련된 정확도 향상과 비지도 머신러닝의 경우와 같이 비용 효율적인 레이블이 없는 데이터를 사용할 수 있는 능력이라는 두 가지 장점을 결합합니다.¹⁰

강화 알고리즘

이 경우 알고리즘은 인간이 학습하는 것처럼 보상과 페널티를 통해 훈련됩니다. 강화 학습 에이전트는 점수를 올리는 데 성공할 확률과 낮출 확률에 대한 일반적인 이해를 가진 강화 학습 에이전트에 의해 측정되고 추적됩니다.¹¹ 시행착오를 통해 에이전트는 지속적으로 가장 유리한 결과를 이끌어내는 조치를 취하는 법을 배웁니다. 강화 학습은 자원 관리, 로봇 공학 및 비디오 게임에서 자주 사용됩니다.¹²