나이브 베이즈는 베이즈 정리를 기반으로 하기 때문에 확률적 분류기라고도 합니다. 베이지안 통계의 기초를 설명하지 않고는 이 알고리즘을 설명하기 어려울 것입니다. 베이즈 규칙(Bayes' Rule)이라고도 하는 이 정리를 통해 조건부 확률을 '반전'시킬 수 있습니다. 참고로, 조건부 확률은 다른 이벤트가 발생했다고 가정할 때의 이벤트의 확률을 나타내며 다음 공식으로 표시됩니다. 

베이즈 정리는 순차적 이벤트를 사용한다는 점에서 구별되며, 여기서 나중에 얻은 추가 정보가 초기 확률에 영향을 미칩니다. 이러한 확률은 사전 확률과 사후 확률로 표시됩니다. 사전 확률은 특정 조건에서 맥락화되기 전의 이벤트의 초기 확률 또는 한계 확률입니다. 사후 확률은 데이터를 관찰한 후 이벤트가 발생할 확률입니다. 

이 개념을 설명하기 위해 통계 및 머신 러닝 문헌(ibm.com 외부 링크)에서 많이 사용되는 예시는 의료 검사입니다. 예를 들어, 당뇨병이 있는지 확인하기 위해 검사를 받는 Jane이라는 사람이 있다고 가정해 보겠습니다. 당뇨병에 걸릴 전체 확률이 5%라고 가정해 보겠습니다. 이 5%가 사전 확률이 됩니다. 그러나 검사에서 양성 결과를 얻으면 이 추가 정보를 설명하기 위해 사전 확률이 업데이트되고 사후 확률이 됩니다. 이 예는 베이즈 정리를 사용하여 다음 방정식으로 나타낼 수 있습니다. 

그러나 식단, 연령, 가족력 등과 같은 다른 변수를 고려할 때 이전 확률에 대한 우리의 지식이 정확하지 않을 수 있으므로 일반적으로 무작위 표본의 확률 분포를 활용하여 방정식을 P(Y|X) = P(X|Y)P(Y)/P(X)로 단순화합니다.

나이브 베이즈 분류기는 몇 가지 주요 가정에 따라 작동한다는 점에서 다르게 작동하므로 '나이브'라는 칭호를 얻었습니다. 이 분류기는 나이브 베이즈 모델의 예측 변수가 조건부로 독립적이거나 모델의 다른 특징과 관련이 없다고 가정합니다. 또한 모든 특징이 결과에 동일하게 기여한다고 가정합니다. 이러한 가정은 실제 시나리오에서 종종 위반되지만(예: 이메일 작성 시 다음 단어가 앞에 오는 단어에 종속됨) 분류 문제를 계산적으로 더 다루기 쉽게 만들어 단순화시킵니다. 즉, 이제 각 변수에 대해 단일 확률만 필요하므로 모델 계산을 더 쉽게 만들어 줍니다. 이러한 비현실적인 독립성 가정에도 불구하고, 분류 알고리즘은 특히 표본 크기가 작을 때 잘 수행됩니다.

이 가정을 염두에 두고 이제 나이브 베이즈 분류기의 부분을 좀 더 면밀히 살펴볼 수 있습니다. 베이즈 정리와 유사하게 조건부 확률과 사전 확률을 사용하여 다음 공식을 사용해 사후 확률을 계산하겠습니다. 

이제 나이브 베이즈 알고리즘의 작동 방식을 설명하기 위해 텍스트 분류 사용 사례를 상상해 보겠습니다. 스팸 필터를 개선하려는 이메일 공급자를 생각해 보세요. 훈련 데이터는 '스팸' 또는 '스팸 아님'으로 분류된 이메일의 단어로 구성됩니다. 여기에서 클래스 조건부 확률과 사전 확률을 계산하여 사후 확률을 산출합니다. 나이브 베이즈 분류기는 해당 이메일의 클래스 그룹(예: '스팸' 또는 '스팸 아님') 중에서 최대 사후 확률을 갖는 클래스를 반환하는 방식으로 작동합니다. 이 계산은 다음 공식으로 표시됩니다.

각 클래스는 동일한 텍스트를 참조하기 때문에 실제로 이 방정식에서 분모를 제거하여 다음과 같이 단순화할 수 있습니다. 

그런 다음 테스트 데이터 세트의 성능을 기반으로 하여 훈련 데이터 세트에 기반한 학습 알고리즘의 정확도를 평가합니다.  

사전 확률은 이전에 베이즈 정리에서 설명한 것과 똑 같습니다. 훈련 세트를 기반으로 이메일이 '스팸' 또는 '스팸 아님'일 전체 확률을 계산할 수 있습니다. 클래스 라벨 '스팸'에 대한 사전 확률은 다음 수식으로 표시됩니다. 

사전 확률은 두 값을 곱하여 개별 사후 확률을 생성할 때 클래스 조건부 확률에 대한 '가중치' 역할을 합니다. 여기에서 최대 사후(MAP) 추정치를 계산하여 스팸 또는 스팸 아님이라는 클래스 라벨을 할당합니다. 나이브 베이지안 방정식의 최종 방정식은 다음과 같이 나타낼 수 있습니다. 

또는 나이브 베이즈가 일반적으로 다음과 같은 형식으로 사용되기 때문에 최종 방정식은 로그 공간에 표시할 수도 있습니다. 

분류기를 평가하는 한 가지 방법은 혼동 행렬을 그리는 것입니다. 이는 행렬 내의 실제 값과 예측 값을 표시합니다. 행은 일반적으로 실제 값을 나타내고 열은 예측 값을 나타냅니다. 많은 가이드에서는 이 그림을 아래와 같이 2 x 2 플롯으로 설명합니다.

그러나 0부터 9까지의 이미지를 예측하는 경우 10 x 10 플롯을 갖게 됩니다. 분류기가 4의 이미지와 9의 이미지를 '혼동'한 횟수를 알고 싶다면 네 번째 행과 아홉 번째 열만 확인하면 됩니다.

• 덜 복잡함: 다른 분류기에 비해 나이브 베이즈는 매개변수를 추정하기 쉽기 때문에 더 단순한 분류기로 간주됩니다. 결과적으로 이는 데이터 과학 및 머신 러닝 과정에서 학습된 최초의 알고리즘 중 하나입니다.  
• 우수한 확장성: 로지스틱 회귀와 비교할 때 나이브 베이즈는 조건부 독립성 가정이 유지될 때 상당히 정확한, 빠르고 효율적인 분류기로 간주됩니다. 또한 스토리지 요구 사항이 낮습니다. 
• 고차원 데이터 처리 가능: 문서 분류와 같은 사용 사례에는 많은 수의 차원이 있을 수 있으며, 이는 다른 분류기로는 관리하기 어려울 수 있습니다. 

• 빈도 0 발생: 훈련 세트 내에 범주 변수가 없으면 빈도가 0이 됩니다. 예를 들어, 클래스 'spam'이 주어졌을 때 단어 '귀하'에 대한 최대가능도 추정기를 찾으려고 하지만 '귀하'라는 단어가 훈련 데이터에 존재하지 않는다고 가정해 보겠습니다. 이 경우 확률은 0이 되며, 이 분류기는 모든 조건부 확률을 함께 곱하므로 이는 사후 확률도 0이 된다는 것을 의미합니다. 이 문제를 방지하기 위해 라플라스 평활화를 활용할 수 있습니다. 
• 비현실적인 핵심 가정: 조건부 독립성 가정은 전반적으로 잘 수행되지만, 이 가정이 항상 유지되는 것은 아니므로 잘못된 분류로 이어질 수 있습니다.