[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -2,62 +2,189 @@
|
||||
id: wiki-2026-0508-multinomial-naive-bayes
|
||||
title: Multinomial Naive Bayes
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [ML-MNB-001]
|
||||
aliases: [Multinomial NB, MNB, Text NB]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 1.0
|
||||
tags: [machine-learning, nlp, naive-bayes, text-classification, Statistics, bayesian]
|
||||
confidence_score: 0.95
|
||||
verification_status: applied
|
||||
tags: [naive-bayes, ml, text-classification, sklearn, baseline]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-04-26
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack: { language: python, framework: scikit-learn }
|
||||
---
|
||||
|
||||
# Multinomial Naive Bayes (다항 나이브 베이즈)
|
||||
# Multinomial Naive Bayes
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "단어의 빈도 속에 숨겨진 확률의 힘을 믿고, 복잡한 문맥 대신 통계적 정직함으로 문서를 분류하라" — 각 특징(단어 빈도)이 다항 분포를 따른다고 가정하고, 베이즈 정리를 활용하여 문서의 카테고리를 예측하는 텍스트 마이닝의 고전적 베이스라인 알고리즘.
|
||||
## 매 한 줄
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Word Frequency Likelihood" — 문장을 단순히 단어의 뭉치(Bag-of-Words)로 보고, 특정 클래스에서 해당 단어들이 나타날 조건부 확률을 결합하여 가장 높은 사후 확률을 가진 클래스를 선택하는 패턴.
|
||||
- **주요 특징:**
|
||||
- **[[Efficiency|Efficiency]]:** 연산량이 매우 적어 대규모 텍스트 데이터를 순식간에 처리 가능.
|
||||
- **[[Robustness|Robustness]] to Small Data:** 데이터가 적을 때도 나이브 베이즈 특유의 '강한 가정' 덕분에 비교적 안정적인 성능 발휘.
|
||||
- **Laplace Smoothing:** 한 번도 나오지 않은 단어 때문에 확률이 0이 되는 현상을 방지하는 필수 기법 적용.
|
||||
- **의의:** 딥러닝 시대 이전까지 스팸 필터링, 뉴스 분류 등 텍스트 처리의 표준이었으며, 현재도 복잡한 모델을 돌리기 전 성능의 기준점(Baseline)으로 널리 활용됨.
|
||||
**Multinomial NB**는 단어 카운트(혹은 TF-IDF) 입력에 다항 분포를 가정한 NB 변형으로, 텍스트 분류(스팸·뉴스·감성)의 빠르고 강력한 baseline이며 sklearn `MultinomialNB` 1줄로 학습된다.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
- **과거 데이터와의 충돌:** 단어 간의 독립성을 가정(Naive)하기 때문에 문맥이나 단어 순서를 무시한다는 치명적 단점이 있으나, 실제 텍스트 분류 환경에서는 이 단순함이 오히려 강력한 일반화 성능을 제공하는 '나이브 베이즈의 역설'이 종종 발생함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 수집된 원시 데이터(Raw Data)를 1차적으로 빠르게 카테고리화하거나, 키워드 기반의 의도 분류를 수행할 때 비용 대비 효율이 극대화된 다항 나이브 베이즈 모델을 활용함.
|
||||
## 매 핵심
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Naive-Bayes-Classifiers|Naive-Bayes-Classifiers]], NLP-Foundations, Probability-Theory, [[Supervised-Learning-Foundations|Supervised-Learning-Foundations]]
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/Multinomial-Naive-Bayes.md
|
||||
### 1. 모델
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
각 클래스 c에 대해 단어 vocabulary 위 다항 분포 θ_c를 가정.
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
```
|
||||
P(x|c) ∝ ∏_w θ_{c,w}^{x_w}
|
||||
P(c|x) ∝ P(c) · ∏_w θ_{c,w}^{x_w}
|
||||
log P(c|x) = log P(c) + Σ_w x_w · log θ_{c,w} ← log-space 안정
|
||||
```
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
학습:
|
||||
```
|
||||
θ_{c,w} = (count(c,w) + α) / (Σ_w' count(c,w') + α·|V|) ← Laplace smoothing
|
||||
```
|
||||
α=1 (default) — Laplace, α<1 — Lidstone.
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
### 2. 입력 표현
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
- **Bag-of-Words** (CountVectorizer) — 정통적.
|
||||
- **TF-IDF** (TfidfVectorizer) — 종종 더 좋은 성능, 하지만 엄밀히 다항 분포 가정 위반(연속값) — 그래도 실무에서 우수.
|
||||
- **n-gram (1,2)** — 흔한 트릭.
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
### 3. 다른 NB 변형 비교
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
| 변형 | 입력 | 가정 | 사용처 |
|
||||
|------|------|------|--------|
|
||||
| **Gaussian NB** | 연속값 | 클래스별 정규분포 | 일반 분류 (수치 feature) |
|
||||
| **Multinomial NB** | 카운트 (정수≥0) | 다항 분포 | 텍스트 |
|
||||
| **Bernoulli NB** | 이진 (0/1) | 베르누이 | 짧은 문서, 단어 존재 여부 |
|
||||
| **Complement NB** | 카운트 | MNB 변형 | imbalanced 텍스트 |
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
### 4. 장단점
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
**장점**: 학습 O(n·d), 추론 O(d), online 학습 가능 (`partial_fit`), 작은 데이터에서 견고, 해석 용이 (log-prob feature weight).
|
||||
|
||||
**단점**: 단어 독립 가정(naive) — 실제로는 위반, OOV(미등장 단어)에 smoothing 필요, TF-IDF는 분포 가정 위반.
|
||||
|
||||
### 5. 2026 위치
|
||||
|
||||
LLM embedding + linear probe가 NLP 정확도 SOTA를 차지하지만, **MNB는 여전히 baseline·엣지/모바일·해석 가능 분류기·라벨 noisy 환경**에서 강세. CPU에서 ms 단위 추론.
|
||||
|
||||
## 💻 패턴
|
||||
|
||||
```python
|
||||
# 1. Quickstart — 20 newsgroups
|
||||
from sklearn.datasets import fetch_20newsgroups
|
||||
from sklearn.feature_extraction.text import TfidfVectorizer
|
||||
from sklearn.naive_bayes import MultinomialNB
|
||||
from sklearn.pipeline import Pipeline
|
||||
|
||||
data = fetch_20newsgroups(subset="train")
|
||||
clf = Pipeline([("tfidf", TfidfVectorizer()), ("mnb", MultinomialNB(alpha=0.1))])
|
||||
clf.fit(data.data, data.target)
|
||||
```
|
||||
|
||||
```python
|
||||
# 2. Predict + accuracy
|
||||
from sklearn.metrics import accuracy_score
|
||||
test = fetch_20newsgroups(subset="test")
|
||||
pred = clf.predict(test.data)
|
||||
print(accuracy_score(test.target, pred)) # ~0.85
|
||||
```
|
||||
|
||||
```python
|
||||
# 3. Bag-of-Words + n-gram
|
||||
from sklearn.feature_extraction.text import CountVectorizer
|
||||
vec = CountVectorizer(ngram_range=(1, 2), min_df=2, max_features=50_000)
|
||||
X = vec.fit_transform(corpus)
|
||||
mnb = MultinomialNB(alpha=1.0).fit(X, y)
|
||||
```
|
||||
|
||||
```python
|
||||
# 4. Hyperparam search — alpha
|
||||
from sklearn.model_selection import GridSearchCV
|
||||
gs = GridSearchCV(MultinomialNB(), {"alpha": [0.01, 0.1, 0.5, 1.0]}, cv=5)
|
||||
gs.fit(X, y)
|
||||
print(gs.best_params_)
|
||||
```
|
||||
|
||||
```python
|
||||
# 5. Complement NB (imbalanced 데이터에 더 강함)
|
||||
from sklearn.naive_bayes import ComplementNB
|
||||
clf = ComplementNB(alpha=0.5).fit(X_train, y_train)
|
||||
```
|
||||
|
||||
```python
|
||||
# 6. Online (partial_fit) — streaming
|
||||
mnb = MultinomialNB()
|
||||
classes = np.unique(y_all)
|
||||
for X_batch, y_batch in stream:
|
||||
mnb.partial_fit(X_batch, y_batch, classes=classes)
|
||||
```
|
||||
|
||||
```python
|
||||
# 7. Top features per class (해석)
|
||||
import numpy as np
|
||||
feature_names = vec.get_feature_names_out()
|
||||
for c, log_p in zip(mnb.classes_, mnb.feature_log_prob_):
|
||||
top = np.argsort(log_p)[-10:]
|
||||
print(f"class {c}: {feature_names[top]}")
|
||||
```
|
||||
|
||||
```python
|
||||
# 8. Spam classifier end-to-end
|
||||
import pandas as pd
|
||||
df = pd.read_csv("sms.csv") # cols: text, label (spam/ham)
|
||||
X = TfidfVectorizer(stop_words="english", min_df=3).fit_transform(df.text)
|
||||
y = (df.label == "spam").astype(int)
|
||||
mnb = MultinomialNB(alpha=0.1).fit(X, y)
|
||||
```
|
||||
|
||||
```python
|
||||
# 9. ROC-AUC + class probability
|
||||
from sklearn.metrics import roc_auc_score
|
||||
proba = mnb.predict_proba(X_test)[:, 1]
|
||||
print(roc_auc_score(y_test, proba))
|
||||
```
|
||||
|
||||
```python
|
||||
# 10. Persistence
|
||||
import joblib
|
||||
joblib.dump(clf, "mnb_pipeline.joblib")
|
||||
loaded = joblib.load("mnb_pipeline.joblib")
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
|
||||
| 상황 | 추천 |
|
||||
|------|------|
|
||||
| 텍스트 분류 baseline | **MNB + TF-IDF** — 5분 완성 |
|
||||
| 짧은 문서 (트윗, 제목) | **Bernoulli NB** |
|
||||
| imbalanced 텍스트 | **Complement NB** |
|
||||
| 수치 feature | **Gaussian NB** |
|
||||
| SOTA 정확도 필요 | **Transformer fine-tune** |
|
||||
| 모바일/엣지 빠른 추론 | **MNB** (수 KB 모델) |
|
||||
| 해석 가능성 중요 | **MNB** (단어별 log-prob) |
|
||||
|
||||
## 🔗 Graph
|
||||
|
||||
- 부모: [[Naive-Bayes-Classifiers]], [[Probabilistic Classifiers]]
|
||||
- 변형: [[Bernoulli Naive Bayes]], [[Complement Naive Bayes]], [[Gaussian Naive Bayes]]
|
||||
- 응용: [[Spam Detection]], [[Sentiment Analysis]], [[News Categorization]]
|
||||
- Adjacent: [[TF-IDF]], [[Bag of Words]], [[Logistic Regression Baseline]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
|
||||
- LLM에 "이 MNB classifier가 X를 spam으로 잘못 분류한 이유를 top feature 가중치로 설명" — 디버깅.
|
||||
- LLM이 라벨링 → 작은 MNB가 추론 (지식 distillation의 단순 형태).
|
||||
|
||||
## ❌ 안티패턴
|
||||
|
||||
- **음수 feature를 MNB에 입력**: MNB는 비음수 가정 — 에러.
|
||||
- **alpha=0**: zero count → log(0) = -inf → NaN. 항상 alpha>0.
|
||||
- **dense feature**: MNB는 sparse 텍스트가 강점. dense 수치 → Gaussian NB.
|
||||
- **단어 순서 무시 무시**: bag-of-words는 "not good"과 "good not" 동일 — bigram or transformer.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
|
||||
- 검증: sklearn docs, McCallum & Nigam (1998).
|
||||
- 중복: [[Naive-Bayes-Classifiers]] (parent overview) — 본 문서는 Multinomial 전용.
|
||||
|
||||
## 🕓 Changelog
|
||||
|
||||
- 2026-05-10: 신규 작성. MNB 모델/Laplace/sklearn 패턴/Complement NB 비교/2026 위치.
|
||||
|
||||
Reference in New Issue
Block a user