[G1-Sync] Manual knowledge update

2026-05-10 22:08:15 +09:00
parent 21ac3ed255
commit 504fd5fb42
3011 changed files with 380280 additions and 206977 deletions
@@ -2,96 +2,33 @@
 id: wiki-2026-0508-mechanistic-interpretability-ste
 title: "Mechanistic Interpretability & Steering"
 category: 10_Wiki/Topics
-status: needs_review
-canonical_id: self
-aliases: [P-Reinforce-AUTO-MCIS-001]
-duplicate_of: none
+status: duplicate
+canonical_id: "[[Mechanistic Interpretability (기계적 해석 가능성)]]"
+duplicate_of: "[[Mechanistic Interpretability (기계적 해석 가능성)]]"
+aliases: [Mech Interp, Steering, Activation Steering]
 source_trust_level: A
-confidence_score: 0.95
-tags: [auto-reinforced, mechanistic-interpretability, steering-vectors, sae, sparse-autoencoders, model-understanding]
+confidence_score: 0.9
+verification_status: applied
+tags: [redirect, mech-interp, alignment]
 raw_sources: []
-last_reinforced: 2026-05-04
+last_reinforced: 2026-05-10
 github_commit: pending
-inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
-tech_stack:
-  language: unspecified
-  framework: unspecified
+tech_stack: { language: none, framework: none }
 ---

-# [[Mechanistic Interpretability & Steering|Mechanistic Interpretability & Steering]]
+# Mechanistic Interpretability & Steering

-## 📌 한 줄 통찰 (The Karpathy Summary)
-> "지능의 역공학: 블랙박스로 여겨졌던 AI의 내부 신경망을 해부하여 특정 뉴런이 어떤 개념(예: '정직', '코딩')을 담당하는지 찾아내고, 이를 직접 조절(Steering)하여 모델의 성격이나 능력을 실시간으로 바꾸는 기술."
+> 이 문서는 [[Mechanistic Interpretability (기계적 해석 가능성)]]로 통합되었습니다.

-## 📖 구조화된 지식 (Synthesized Content)
-기계적 해석 가능성(Mechanistic Interpretability)은 모델의 내부 작동 원리를 뉴런 단위에서 이해하려는 학문이며, 스티어링(Steering)은 그 이해를 바탕으로 모델을 제어하는 기술입니다.
+## 매 한 줄

-1.  **SAE (Sparse Autoencoders)**:
-    *   **원리**: 모델의 수억 개 뉴런 속에 복합적으로 얽혀 있는 개념들을 분리하여, 인간이 이해할 수 있는 단일 개념(Feature)으로 추출하는 기술입니다.
-    *   **의의**: "이 뉴런 그룹은 '골든게이트 교량'에 반응한다"와 같은 구체적인 지도를 그릴 수 있게 합니다. (Anthropic의 연구 사례)
-2.  **Steering Vectors (스티어링 벡터)**:
-    *   **개념**: 특정 개념(예: '무해함', '논리적 추론')과 관련된 신경망의 활성화 패턴을 추출하여 벡터로 만듭니다.
-    *   **활용**: 추론 시 이 벡터를 모델의 중간 레이어에 주입(Injection)하여, 모델이 더 정직하게 답하게 하거나 특정 주제에 집중하게 유도할 수 있습니다.
-3.  **Superposition (중첩)**:
-    *   모델이 제한된 뉴런 수로 방대한 지식을 저장하기 위해, 하나의 뉴런이 여러 개념에 동시에 관여하는 현상입니다. 해석 가능성 연구는 이 중첩을 해소하는 것이 주된 목표입니다.
+신경망 내부 회로(circuit)를 역공학하여 행동을 이해·조종(steering)하는 분야. canonical 문서 참고.

-## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
-*   **성능 저하**: 특정 개념을 너무 강하게 스티어링하면 모델의 일반적인 언어 능력이 망가지거나 답변이 부자연스러워질 수 있습니다.
-*   **복잡성**: 거대 모델의 모든 개념을 완벽히 해석하는 것은 여전히 초보적인 단계이며, 막대한 연산량이 필요합니다.
+## 🔗 Graph

-## 🔗 지식 연결 (Graph)
-*   **상위 개념**: [[AI Safety & Constitutional AI|AI Safety & Constitutional AI]], [[Deep Learning Theory|Deep Learning Theory]]
-*   **관련 연구**: Anthropic (Golden Gate Claude), OpenAI (Microscope)
-*   **연관 기술**: [[Fine-Tuning & Alignment|Fine-Tuning & Alignment]]
+- 부모: [[Mechanistic Interpretability (기계적 해석 가능성)]] (canonical)
+- 인접: [[AI Safety & Constitutional AI]], [[AI-Alignment]], [[Sparse Autoencoders]]

---
-*Last updated: 2026-05-04*
+## 🕓 Changelog

-## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
-
-**언제 이 지식을 쓰는가:**
- *(TODO)*
-
-**언제 쓰면 안 되는가:**
- *(TODO)*
-
-## 🧪 검증 상태 (Validation)
-
- **정보 상태:** needs_review
- **출처 신뢰도:** A
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
-
-## 🧬 중복 검사 (Duplicate Check)
-
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
- **처리 방식:** UPDATE (자동 정규화)
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
-
-## 🕓 변경 이력 (Changelog)
-
-| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
-|------|-----------|-----------|--------|
-| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
-
-## 💻 코드 패턴 (Code Patterns)
-
-**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
-
-```text
-# TODO
-```
-
-## 🤔 의사결정 기준 (Decision Criteria)
-
-**선택 A를 써야 할 때:**
- *(TODO)*
-
-**선택 B를 써야 할 때:**
- *(TODO)*
-
-**기본값:**
-> *(TODO)*
-
-## ❌ 안티패턴 (Anti-Patterns)
-
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
+- 2026-05-10: REDIRECT 처리 — canonical = [[Mechanistic Interpretability (기계적 해석 가능성)]].