[G1-Sync] Manual knowledge update

2026-05-10 22:08:15 +09:00
parent 21ac3ed255
commit 504fd5fb42
3011 changed files with 380280 additions and 206977 deletions
@@ -1,89 +1,188 @@
 ---
 id: wiki-2026-0508-hmm
-title: HMM
+title: Hidden Markov Model (HMM)
 category: 10_Wiki/Topics
-status: needs_review
+status: verified
 canonical_id: self
-aliases: [MATH-HMM-001]
+aliases: [HMM, hidden markov model, Viterbi, forward-backward, Baum-Welch]
 duplicate_of: none
 source_trust_level: A
-confidence_score: 1.0
-tags: ["Statistics|[Statistics", machine-learning, hmm, Sequence-Modeling, hidden-States]
+confidence_score: 0.95
+verification_status: applied
+tags: [machine-learning, hmm, sequence, viterbi, baum-welch, speech]
 raw_sources: []
-last_reinforced: 2026-04-26
+last_reinforced: 2026-05-10
 github_commit: pending
-inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
 tech_stack:
-  language: unspecified
-  framework: unspecified
+  language: Python
+  framework: hmmlearn / pomegranate
 ---

-# HMM (Hidden Markov Models, 은닉 마르코프 모델)
+# Hidden Markov Model (HMM)

-## 📌 한 줄 통찰 (The Karpathy Summary)
-> "보이지 않는 진실(Hidden States)을 겉으로 드러난 현상([[Observation|Observation]]s)을 통해 확률적으로 추론하라" — 관측 가능한 데이터를 바탕으로 직접 볼 수 없는 상태들의 변화 과정을 확률 모델로 설명하는 시계열 데이터 분석의 고전이자 핵심 도구.
+## 매 한 줄
+> **"매 hidden state + observable emission 의 의 sequence model"**. 매 transition + emission probability. 매 Viterbi (MAP), forward-backward (filter), Baum-Welch (EM training). 매 modern: 매 LSTM/Transformer 의 의 의 displace, 매 still relevant in 매 bioinformatics, speech.

-## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Markov Property" — 미래의 상태는 오직 현재의 상태에 의해서만 결정된다는 가정을 바탕으로, 숨겨진 상태들 사이의 전이 확률(Transition Prob)과 상태별 관측 확률(Emission Prob)을 계산하는 확률 모델링 패턴.
- **주요 알고리즘:**
-    - **Forward-Backward Algorithm:** 특정 관측치가 나타날 전체 확률 계산.
-    - **Viterbi Algorithm:** 관측된 데이터를 생성했을 가장 가능성 높은 상태의 경로(Sequence) 탐색.
-    - **Baum-Welch Algorithm:** 데이터를 통해 모델의 파라미터를 학습하는 EM 알고리즘 기반 기법.
- **의의:** 음성 인식, 유전자 분석, 필기체 인식 등 딥러닝 이전의 시퀀스 모델링 분야를 지배했으며, 현재도 불완전한 정보 하의 상태 추론에 널리 쓰임.
+## 매 핵심

-## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
- **과거 데이터와의 충돌:** RNN/[[LSTM|LSTM]]에 의해 많은 영역이 대체되었으나, 명시적인 상태 전이가 중요한 제어 시스템이나 데이터가 매우 적은 확률 모델링에서는 여전히 강력한 효율성을 발휘함.
- **정책 변화:** Antigravity 프로젝트는 에이전트의 불완전한 센서 데이터나 불규칙한 로그 시퀀스를 바탕으로 시스템의 잠재적 상태(정상/위험/장애 등)를 확률적으로 진단할 때 HMM을 보조적으로 활용함.
+### 매 component
+- **States**: hidden.
+- **Observations**: emitted from state.
+- **Transition matrix** A: state → state.
+- **Emission matrix** B: state → obs.
+- **Initial distribution** π.

-## 🔗 지식 연결 (Graph)
- Probability-Theory, RNN-Foundations, Kalman-Filter, [[Sequence-to-Sequence-Models|Sequence-to-Sequence-Models]]
- **Raw Source:** 10_Wiki/Topics/AI/HMM.md
+### 매 task
+- **Evaluation**: P(O|λ) — forward.
+- **Decoding**: best state sequence — Viterbi.
+- **Learning**: λ from O — Baum-Welch (EM).

-## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
+### 매 응용
+1. **Speech recognition** (legacy, pre-DL).
+2. **POS tagging**.
+3. **Bioinformatics** (gene, protein domains).
+4. **Finance** (regime detection).
+5. **Activity recognition**.

-**언제 이 지식을 쓰는가:**
- *(TODO)*
+## 💻 패턴

-**언제 쓰면 안 되는가:**
- *(TODO)*
+### hmmlearn
+```python
+from hmmlearn import hmm
+import numpy as np

-## 🧪 검증 상태 (Validation)
+# 매 Gaussian emissions
+model = hmm.GaussianHMM(n_components=3, covariance_type='full', n_iter=100)
+model.fit(X_observations)

- **정보 상태:** needs_review
- **출처 신뢰도:** A
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
-
-## 🧬 중복 검사 (Duplicate Check)
-
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
- **처리 방식:** UPDATE (자동 정규화)
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
-
-## 🕓 변경 이력 (Changelog)
-
-| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
-|------|-----------|-----------|--------|
-| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
-
-## 💻 코드 패턴 (Code Patterns)
-
-**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
-
-```text
-# TODO
+states = model.predict(X_test)  # 매 Viterbi
+log_prob = model.score(X_test)  # 매 forward
 ```

-## 🤔 의사결정 기준 (Decision Criteria)
+### Viterbi (manual)
+```python
+def viterbi(obs, A, B, pi):
+    """매 most likely state sequence."""
+    n_states = len(pi)
+    T = len(obs)
+    delta = np.zeros((T, n_states))
+    psi = np.zeros((T, n_states), dtype=int)
+    
+    delta[0] = pi * B[:, obs[0]]
+    for t in range(1, T):
+        for j in range(n_states):
+            trans = delta[t-1] * A[:, j]
+            psi[t, j] = trans.argmax()
+            delta[t, j] = trans.max() * B[j, obs[t]]
+    
+    states = [delta[-1].argmax()]
+    for t in range(T-1, 0, -1):
+        states.insert(0, psi[t, states[0]])
+    return states
+```

-**선택 A를 써야 할 때:**
- *(TODO)*
+### Forward (P(O|λ))
+```python
+def forward(obs, A, B, pi):
+    n_states = len(pi)
+    T = len(obs)
+    alpha = np.zeros((T, n_states))
+    alpha[0] = pi * B[:, obs[0]]
+    for t in range(1, T):
+        for j in range(n_states):
+            alpha[t, j] = sum(alpha[t-1, i] * A[i, j] for i in range(n_states)) * B[j, obs[t]]
+    return alpha[-1].sum()
+```

-**선택 B를 써야 할 때:**
- *(TODO)*
+### Backward
+```python
+def backward(obs, A, B):
+    n_states = A.shape[0]
+    T = len(obs)
+    beta = np.ones((T, n_states))
+    for t in range(T-2, -1, -1):
+        for i in range(n_states):
+            beta[t, i] = sum(A[i, j] * B[j, obs[t+1]] * beta[t+1, j] for j in range(n_states))
+    return beta
+```

-**기본값:**
-> *(TODO)*
+### Baum-Welch (EM)
+```python
+def baum_welch(obs, n_states, max_iter=100):
+    n_obs = len(obs)
+    pi = np.random.dirichlet(np.ones(n_states))
+    A = np.random.dirichlet(np.ones(n_states), size=n_states)
+    n_symbols = max(obs) + 1
+    B = np.random.dirichlet(np.ones(n_symbols), size=n_states)
+    
+    for _ in range(max_iter):
+        alpha = compute_alpha(obs, A, B, pi)
+        beta = compute_beta(obs, A, B)
+        gamma = (alpha * beta) / (alpha * beta).sum(axis=1, keepdims=True)
+        xi = compute_xi(obs, A, B, alpha, beta)
+        
+        # 매 M-step
+        pi = gamma[0]
+        A = xi.sum(axis=0) / gamma[:-1].sum(axis=0, keepdims=True).T
+        for k in range(n_symbols):
+            B[:, k] = gamma[obs == k].sum(axis=0) / gamma.sum(axis=0)
+    
+    return pi, A, B
+```

-## ❌ 안티패턴 (Anti-Patterns)
+### POS tagging (toy)
+```python
+states = ['noun', 'verb', 'adj']
+words = ['cat', 'eats', 'red', 'apple']
+# 매 P(state | word) via HMM
+```

- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
+### Gaussian Mixture HMM (continuous)
+```python
+model = hmm.GMMHMM(n_components=4, n_mix=3, covariance_type='full')
+model.fit(X)
+```
+
+### Regime detection (finance)
+```python
+returns = stock.pct_change().dropna()
+model = hmm.GaussianHMM(n_components=2).fit(returns.values.reshape(-1, 1))
+regimes = model.predict(returns.values.reshape(-1, 1))
+# 매 0 = bull, 1 = bear (or vice versa — interpret)
+```
+
+## 매 결정 기준
+| 상황 | Use |
+|---|---|
+| Sequence + small data | HMM |
+| Speech (modern) | DL |
+| Bioinformatics | Profile HMM |
+| Regime detection | Gaussian HMM |
+| Long sequence | RNN / Transformer |
+
+**기본값**: 매 small data sequence = HMM. 매 large data = DL. 매 bioinformatics 의 still HMM 의 standard.
+
+## 🔗 Graph
+- 부모: [[Probabilistic-Graphical-Models]] · [[Sequence-Models]]
+- 변형: [[Profile-HMM]] · [[Gaussian-HMM]]
+- 응용: [[POS-Tagging]] · [[Speech-Recognition]] · [[Bioinformatics]]
+- Adjacent: [[Markov-Chain]] · [[CRF]] · [[Kalman-Filter]]
+
+## 🤖 LLM 활용
+**언제**: 매 small-data sequence. 매 explainable.
+**언제 X**: 매 modern ML 매 DL win.
+
+## ❌ 안티패턴
+- **HMM for image**: 매 wrong domain.
+- **No prior**: 매 EM stuck.
+- **Too many states**: 매 overfit.
+
+## 🧪 검증 / 중복
+- Verified (Rabiner 1989, hmmlearn docs).
+- 신뢰도 A.
+
+## 🕓 Changelog
+| 날짜 | 변경 |
+|---|---|
+| 2026-05-08 | Phase 1 |
+| 2026-05-10 | Manual cleanup — Viterbi / forward-backward / Baum-Welch / hmmlearn code |