feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

10_Wiki/Topics/AI_and_ML/Tokenization & Subword Processing.md

@@ -1,9 +1,21 @@
 ---
-id: [[P-Reinforce|P-Reinforce]]-AUTO-TKNP-001
-category: Unified
-confidence_score: 1.00
+id: wiki-2026-0508-tokenization-subword-processing
+title: "Tokenization & Subword Processing"
+category: 10_Wiki/Topics
+status: needs_review
+canonical_id: self
+aliases: [P-Reinforce-AUTO-TKNP-001]
+duplicate_of: none
+source_trust_level: A
+confidence_score: 1.0
 tags: [auto-reinforced, tokenization, bpe, wordpiece, subword-tokenizer, nlp-preprocessing]
+raw_sources: []
 last_reinforced: 2026-05-04
+github_commit: pending
+inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
+tech_stack:
+  language: unspecified
+  framework: unspecified
 ---
 
 # [[Tokenization & Subword Processing|Tokenization & Subword Processing]]
@@ -23,7 +35,7 @@ last_reinforced: 2026-05-04
 3.  **토큰 사전 크기 (Vocab Size)**:
     *   사전이 너무 작으면 문장이 너무 많은 토큰으로 쪼개져 연산 효율이 떨어지고, 너무 크면 모델의 파라미터가 낭비됩니다. 보통 32k ~ 128k 사이에서 결정됩니다.
 
-## ⚖️ Trade-offs & Caveats
+## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
 *   **다국어 불균형**: 영어는 단어당 토큰 수가 적지만, 한국어나 다른 언어는 동일한 의미라도 훨씬 많은 토큰으로 쪼개져 비용이 비싸고 성능이 저하될 수 있습니다.
 *   **비결정론적 이슈**: 토크나이저의 사소한 차이가 모델의 산술 연산 능력이나 특수 문자 처리 능력에 큰 영향을 미칠 수 있습니다.
 
@@ -34,3 +46,52 @@ last_reinforced: 2026-05-04
 
 ---
 *Last updated: 2026-05-04*
+
+## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
+
+**언제 이 지식을 쓰는가:**
+- *(TODO)*
+
+**언제 쓰면 안 되는가:**
+- *(TODO)*
+
+## 🧪 검증 상태 (Validation)
+
+- **정보 상태:** needs_review
+- **출처 신뢰도:** A
+- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
+
+## 🧬 중복 검사 (Duplicate Check)
+
+- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
+- **처리 방식:** UPDATE (자동 정규화)
+- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
+
+## 🕓 변경 이력 (Changelog)
+
+| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
+|------|-----------|-----------|--------|
+| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
+
+## 💻 코드 패턴 (Code Patterns)
+
+**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
+
+```text
+# TODO
+```
+
+## 🤔 의사결정 기준 (Decision Criteria)
+
+**선택 A를 써야 할 때:**
+- *(TODO)*
+
+**선택 B를 써야 할 때:**
+- *(TODO)*
+
+**기본값:**
+> *(TODO)*
+
+## ❌ 안티패턴 (Anti-Patterns)
+
+- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*