Files

T

koriweb 5ba5a55c78 feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

2026-05-08 19:52:07 +09:00

4.3 KiB

Raw Blame History

id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, tags, raw_sources, last_reinforced, github_commit, inferred_by, tech_stack

title

Mechanistic Interpretability & Steering

📌 한 줄 통찰 (The Karpathy Summary)

"지능의 역공학: 블랙박스로 여겨졌던 AI의 내부 신경망을 해부하여 특정 뉴런이 어떤 개념(예: '정직', '코딩')을 담당하는지 찾아내고, 이를 직접 조절(Steering)하여 모델의 성격이나 능력을 실시간으로 바꾸는 기술."

📖 구조화된 지식 (Synthesized Content)

기계적 해석 가능성(Mechanistic Interpretability)은 모델의 내부 작동 원리를 뉴런 단위에서 이해하려는 학문이며, 스티어링(Steering)은 그 이해를 바탕으로 모델을 제어하는 기술입니다.

SAE (Sparse Autoencoders):
- 원리: 모델의 수억 개 뉴런 속에 복합적으로 얽혀 있는 개념들을 분리하여, 인간이 이해할 수 있는 단일 개념(Feature)으로 추출하는 기술입니다.
- 의의: "이 뉴런 그룹은 '골든게이트 교량'에 반응한다"와 같은 구체적인 지도를 그릴 수 있게 합니다. (Anthropic의 연구 사례)
Steering Vectors (스티어링 벡터):
- 개념: 특정 개념(예: '무해함', '논리적 추론')과 관련된 신경망의 활성화 패턴을 추출하여 벡터로 만듭니다.
- 활용: 추론 시 이 벡터를 모델의 중간 레이어에 주입(Injection)하여, 모델이 더 정직하게 답하게 하거나 특정 주제에 집중하게 유도할 수 있습니다.
Superposition (중첩):
- 모델이 제한된 뉴런 수로 방대한 지식을 저장하기 위해, 하나의 뉴런이 여러 개념에 동시에 관여하는 현상입니다. 해석 가능성 연구는 이 중첩을 해소하는 것이 주된 목표입니다.

⚠️ 모순 및 업데이트 (Contradictions & Updates)

성능 저하: 특정 개념을 너무 강하게 스티어링하면 모델의 일반적인 언어 능력이 망가지거나 답변이 부자연스러워질 수 있습니다.
복잡성: 거대 모델의 모든 개념을 완벽히 해석하는 것은 여전히 초보적인 단계이며, 막대한 연산량이 필요합니다.

🔗 지식 연결 (Graph)

상위 개념: AI Safety & Constitutional AI, Deep Learning Theory
관련 연구: Anthropic (Golden Gate Claude), OpenAI (Microscope)
연관 기술: Fine-Tuning & Alignment

Last updated: 2026-05-04

🤖 LLM 활용 힌트 (How to Use This Knowledge)

언제 이 지식을 쓰는가:

(TODO)

언제 쓰면 안 되는가:

(TODO)

🧪 검증 상태 (Validation)

정보 상태: needs_review
출처 신뢰도: A
검토 이유: (P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)

🧬 중복 검사 (Duplicate Check)

기존 유사 문서: (TODO: 인덱서 클러스터 리포트 참조)
처리 방식: UPDATE (자동 정규화)
처리 이유: Phase 1 정규화 — 옛 템플릿/누락 필드 보강.

🕓 변경 이력 (Changelog)

날짜	변경 내용	처리 방식	신뢰도
2026-05-08	P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화)	UPDATE	A

💻 코드 패턴 (Code Patterns)

패턴 1: (TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)

# TODO

🤔 의사결정 기준 (Decision Criteria)

선택 A를 써야 할 때:

(TODO)

선택 B를 써야 할 때:

(TODO)

기본값:

(TODO)

❌ 안티패턴 (Anti-Patterns)

[안티패턴]: (TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)

4.3 KiB Raw Blame History