feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

10_Wiki/Topics/AI_and_ML/Tokenization-Strategies.md

@@ -1,9 +1,21 @@
 ---
-id: TOKEN-001
-category: Unified
+id: wiki-2026-0508-tokenization-strategies
+title: Tokenization Strategies
+category: 10_Wiki/Topics
+status: needs_review
+canonical_id: self
+aliases: [TOKEN-001]
+duplicate_of: none
+source_trust_level: A
 confidence_score: 1.0
-tags: [nlp, ai, tokenization, llm, pre[[Processing|Processing]]]
+tags: [nlp, ai, tokenization, llm, preProcessing]
+raw_sources: []
 last_reinforced: 2026-04-26
+github_commit: pending
+inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
+tech_stack:
+  language: unspecified
+  framework: unspecified
 ---
 
 # Tokenization Strategies (토크나이징 전략)
@@ -19,10 +31,59 @@ last_reinforced: 2026-04-26
     - **Subword-based:** 단어를 더 작은 조각으로 나눔. 현대 LLM의 표준 (예: BPE, WordPiece, SentencePiece).
     - **Byte-Pair Encoding (BPE):** 자주 등장하는 문자열 조합을 하나의 토큰으로 병합하여 효율적인 사전을 구축.
 
-## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
+## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
 - **과거 데이터와의 충돌:** 단순한 띄어쓰기 기반의 형태소 분석에서, 최근에는 언어에 상관없이 바이트 수준에서 작동하는 다국어 대응 토크나이저로 발전.
 - **정책 변화:** Antigravity 프로젝트는 다국어 위키 문서의 일관된 처리를 위해 SentencePiece와 같은 언어 독립적 토크나이징 전략을 채택함.
 
 ## 🔗 지식 연결 (Graph)
 - NLP, Word-Embeddings, [[Transformer-Architecture|Transformer-Architecture]], [[LLM|LLM]]
 - **Raw Source:** 10_Wiki/Topics/AI/Tokenization-Strategies.md
+
+## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
+
+**언제 이 지식을 쓰는가:**
+- *(TODO)*
+
+**언제 쓰면 안 되는가:**
+- *(TODO)*
+
+## 🧪 검증 상태 (Validation)
+
+- **정보 상태:** needs_review
+- **출처 신뢰도:** A
+- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
+
+## 🧬 중복 검사 (Duplicate Check)
+
+- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
+- **처리 방식:** UPDATE (자동 정규화)
+- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
+
+## 🕓 변경 이력 (Changelog)
+
+| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
+|------|-----------|-----------|--------|
+| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
+
+## 💻 코드 패턴 (Code Patterns)
+
+**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
+
+```text
+# TODO
+```
+
+## 🤔 의사결정 기준 (Decision Criteria)
+
+**선택 A를 써야 할 때:**
+- *(TODO)*
+
+**선택 B를 써야 할 때:**
+- *(TODO)*
+
+**기본값:**
+> *(TODO)*
+
+## ❌ 안티패턴 (Anti-Patterns)
+
+- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*