2nd/10_Wiki/Topics/AI_and_ML/Multinomial-Naive-Bayes.md

id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, verification_status, tags, raw_sources, last_reinforced, github_commit, tech_stack

id	title	category	status	canonical_id	aliases	duplicate_of	source_trust_level	confidence_score	verification_status	tags	raw_sources	last_reinforced	github_commit	tech_stack
wiki-2026-0508-multinomial-naive-bayes	Multinomial Naive Bayes	10_Wiki/Topics	verified	self	Multinomial NB MNB Text NB	none	A	0.95	applied	naive-bayes ml text-classification sklearn baseline		2026-05-10	pending	language framework python scikit-learn

Multinomial Naive Bayes

매 한 줄

Multinomial NB는 단어 카운트(혹은 TF-IDF) 입력에 다항 분포를 가정한 NB 변형으로, 텍스트 분류(스팸·뉴스·감성)의 빠르고 강력한 baseline이며 sklearn MultinomialNB 1줄로 학습된다.

매 핵심

1. 모델

각 클래스 c에 대해 단어 vocabulary 위 다항 분포 θ_c를 가정.

P(x|c) ∝ ∏_w θ_{c,w}^{x_w}
P(c|x) ∝ P(c) · ∏_w θ_{c,w}^{x_w}
log P(c|x) = log P(c) + Σ_w x_w · log θ_{c,w}   ← log-space 안정

학습:

θ_{c,w} = (count(c,w) + α) / (Σ_w' count(c,w') + α·|V|)   ← Laplace smoothing

α=1 (default) — Laplace, α<1 — Lidstone.

2. 입력 표현

• Bag-of-Words (CountVectorizer) — 정통적.
• TF-IDF (TfidfVectorizer) — 종종 더 좋은 성능, 하지만 엄밀히 다항 분포 가정 위반(연속값) — 그래도 실무에서 우수.
• n-gram (1,2) — 흔한 트릭.

3. 다른 NB 변형 비교

변형	입력	가정	사용처
Gaussian NB	연속값	클래스별 정규분포	일반 분류 (수치 feature)
Multinomial NB	카운트 (정수≥0)	다항 분포	텍스트
Bernoulli NB	이진 (0/1)	베르누이	짧은 문서, 단어 존재 여부
Complement NB	카운트	MNB 변형	imbalanced 텍스트

4. 장단점

장점: 학습 O(n·d), 추론 O(d), online 학습 가능 (partial_fit), 작은 데이터에서 견고, 해석 용이 (log-prob feature weight).

단점: 단어 독립 가정(naive) — 실제로는 위반, OOV(미등장 단어)에 smoothing 필요, TF-IDF는 분포 가정 위반.

5. 2026 위치

LLM embedding + linear probe가 NLP 정확도 SOTA를 차지하지만, MNB는 여전히 baseline·엣지/모바일·해석 가능 분류기·라벨 noisy 환경에서 강세. CPU에서 ms 단위 추론.

💻 패턴

# 1. Quickstart — 20 newsgroups
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline

data = fetch_20newsgroups(subset="train")
clf = Pipeline([("tfidf", TfidfVectorizer()), ("mnb", MultinomialNB(alpha=0.1))])
clf.fit(data.data, data.target)

# 2. Predict + accuracy
from sklearn.metrics import accuracy_score
test = fetch_20newsgroups(subset="test")
pred = clf.predict(test.data)
print(accuracy_score(test.target, pred))  # ~0.85

# 3. Bag-of-Words + n-gram
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(ngram_range=(1, 2), min_df=2, max_features=50_000)
X = vec.fit_transform(corpus)
mnb = MultinomialNB(alpha=1.0).fit(X, y)

# 4. Hyperparam search — alpha
from sklearn.model_selection import GridSearchCV
gs = GridSearchCV(MultinomialNB(), {"alpha": [0.01, 0.1, 0.5, 1.0]}, cv=5)
gs.fit(X, y)
print(gs.best_params_)

# 5. Complement NB (imbalanced 데이터에 더 강함)
from sklearn.naive_bayes import ComplementNB
clf = ComplementNB(alpha=0.5).fit(X_train, y_train)

# 6. Online (partial_fit) — streaming
mnb = MultinomialNB()
classes = np.unique(y_all)
for X_batch, y_batch in stream:
    mnb.partial_fit(X_batch, y_batch, classes=classes)

# 7. Top features per class (해석)
import numpy as np
feature_names = vec.get_feature_names_out()
for c, log_p in zip(mnb.classes_, mnb.feature_log_prob_):
    top = np.argsort(log_p)[-10:]
    print(f"class {c}: {feature_names[top]}")

# 8. Spam classifier end-to-end
import pandas as pd
df = pd.read_csv("sms.csv")  # cols: text, label (spam/ham)
X = TfidfVectorizer(stop_words="english", min_df=3).fit_transform(df.text)
y = (df.label == "spam").astype(int)
mnb = MultinomialNB(alpha=0.1).fit(X, y)

# 9. ROC-AUC + class probability
from sklearn.metrics import roc_auc_score
proba = mnb.predict_proba(X_test)[:, 1]
print(roc_auc_score(y_test, proba))

# 10. Persistence
import joblib
joblib.dump(clf, "mnb_pipeline.joblib")
loaded = joblib.load("mnb_pipeline.joblib")

매 결정 기준

상황	추천
텍스트 분류 baseline	MNB + TF-IDF — 5분 완성
짧은 문서 (트윗, 제목)	Bernoulli NB
imbalanced 텍스트	Complement NB
수치 feature	Gaussian NB
SOTA 정확도 필요	Transformer fine-tune
모바일/엣지 빠른 추론	MNB (수 KB 모델)
해석 가능성 중요	MNB (단어별 log-prob)

🔗 Graph

• 부모: Naive-Bayes-Classifiers
• 응용: Sentiment Analysis
• Adjacent: TF-IDF

🤖 LLM 활용

• LLM에 "이 MNB classifier가 X를 spam으로 잘못 분류한 이유를 top feature 가중치로 설명" — 디버깅.
• LLM이 라벨링 → 작은 MNB가 추론 (지식 distillation의 단순 형태).

❌ 안티패턴

• 음수 feature를 MNB에 입력: MNB는 비음수 가정 — 에러.
• alpha=0: zero count → log(0) = -inf → NaN. 항상 alpha>0.
• dense feature: MNB는 sparse 텍스트가 강점. dense 수치 → Gaussian NB.
• 단어 순서 무시 무시: bag-of-words는 "not good"과 "good not" 동일 — bigram or transformer.

🧪 검증 / 중복

• 검증: sklearn docs, McCallum & Nigam (1998).
• 중복: Naive-Bayes-Classifiers (parent overview) — 본 문서는 Multinomial 전용.

🕓 Changelog

• 2026-05-10: 신규 작성. MNB 모델/Laplace/sklearn 패턴/Complement NB 비교/2026 위치.