64 lines
3.1 KiB
Markdown
64 lines
3.1 KiB
Markdown
---
|
|
id: wiki-2026-0508-feature-clamping-피처-고정
|
|
title: Feature Clamping (피처 고정)
|
|
category: 10_Wiki/Topics
|
|
status: needs_review
|
|
canonical_id: self
|
|
aliases: [CLAMP-001]
|
|
duplicate_of: none
|
|
source_trust_level: A
|
|
confidence_score: 1.0
|
|
tags: [ai-Interpretability, mechanistic-interpretability, steering, neural-networks]
|
|
raw_sources: []
|
|
last_reinforced: 2026-04-26
|
|
github_commit: pending
|
|
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
|
---
|
|
|
|
# Feature Clamping (피처 고정 기법)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "모델 내부의 특정 개념을 강제로 고정하여 출력을 조종하라" — 신경망 내부의 특정 활성화(Activation) 값을 인위적으로 고정(Clamp)하여 모델의 행동이나 스타일을 제어하는 기법.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 모델이 특정 개념(예: '정중함' 또는 '독일어')을 처리하는 내부 뉴런 집합을 찾아낸 뒤, 그 값을 최대치로 고정하여 모든 출력에 해당 성질이 강제로 나타나게 하는 '스티어링(Steering)' 패턴.
|
|
- **세부 내용:**
|
|
- **Activation Extraction:** 특정 태스크 시 활성화되는 핵심 벡터 방향 식별.
|
|
- **Constant Injection:** 추론 과정에서 특정 레이어의 활성화 값을 계산된 값이 아닌, 사전에 정의된 '고정값'으로 대체.
|
|
- **Model Steering:** 파인튜닝 없이도 모델의 어조, 주제, 언어 등을 실시간으로 조율 가능.
|
|
- **Ablation Study:** 반대로 특정 값을 0으로 고정하여 해당 기능이 모델에서 어떤 역할을 하는지 분석하는 용도로도 사용.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
|
- **과거 데이터와의 충돌:** 단순히 프롬프트로 유도하던 방식에서, 모델의 두뇌(활성화 층)를 직접 제어하는 하드웨어적 접근으로의 진화.
|
|
- **정책 변화:** 모델의 편향이나 유해성을 제거하기 위해 특정 '부정적 피처'를 억제(Negative Clamping)하는 안전 가드레일로 활용 연구 중.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- **Parent:** 10_Wiki/💡 Topics/AI
|
|
- **Related:** Mechanistic-Interpretability, Circuit-Discovery, Activation-Patching
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Feature Clamping (피처 고정).md
|
|
|
|
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
|
|
|
**언제 이 지식을 쓰는가:**
|
|
- *(TODO)*
|
|
|
|
**언제 쓰면 안 되는가:**
|
|
- *(TODO)*
|
|
|
|
## 🧪 검증 상태 (Validation)
|
|
|
|
- **정보 상태:** needs_review
|
|
- **출처 신뢰도:** A
|
|
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
|
|
|
## 🧬 중복 검사 (Duplicate Check)
|
|
|
|
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
|
- **처리 방식:** UPDATE (자동 정규화)
|
|
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
|
|
|
## 🕓 변경 이력 (Changelog)
|
|
|
|
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
|
|------|-----------|-----------|--------|
|
|
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A | |