3.3 KiB
3.3 KiB
id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, tags, raw_sources, last_reinforced, github_commit, inferred_by
| id | title | category | status | canonical_id | aliases | duplicate_of | source_trust_level | confidence_score | tags | raw_sources | last_reinforced | github_commit | inferred_by | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| wiki-2026-0508-eligibility-traces | Eligibility Traces | 10_Wiki/Topics | needs_review | self |
|
none | A | 1.0 |
|
2026-04-26 | pending | Claude Opus 4.7 (auto-normalize 2026-05-08) |
Eligibility Traces (적격성 흔적)
📌 한 줄 통찰 (The Karpathy Summary)
"현재의 보상을 과거의 어떤 행동에 나누어줄지 결정하는 지능적 기억의 자국" — 강화학습에서 발생한 보상을 과거에 방문했던 상태들과 연결하여 업데이트 효율을 높이는 기술로, TD(
\lambda) 알고리즘의 핵심.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: 사건이 발생한 시점으로부터 시간이 지날수록 그 영향력을 서서히 감소시키되(Decay), 최근에 자주 방문한 상태에는 더 높은 기여도를 부여하는 시간적 신용 할당 패턴.
- 핵심 요소:
- Trace Decay (
\lambda): 0과 1 사이의 값으로, 과거 상태의 흔적을 얼마나 빨리 지울지 결정. - Frequency Heuristic: 자주 방문한 상태일수록 더 많은 보상을 받을 자격이 있음.
- Recency Heuristic: 최근에 방문한 상태일수록 현재 보상에 대한 기여도가 높음.
- TD(
\lambda): 한 번의 업데이트로 여러 단계 이전의 상태 가치를 동시에 갱신하여 학습 속도 향상.
- Trace Decay (
- 의의: 에피소드가 끝날 때까지 기다리는 몬테카를로 방식과 바로 다음 단계만 보는 TD(0) 방식 사이의 유연한 조절 장치 제공.
⚠️ 모순 및 업데이트 (Contradictions & Updates)
- 과거 데이터와의 충돌: 한 번에 하나의 상태만 업데이트하던 비효율적인 방식에서, 흔적을 남겨 시퀀스 전체를 효율적으로 학습하는 구조로 진화.
- 정책 변화: Antigravity 에이전트의 다단계 의사결정 모델은 적격성 흔적 원리를 활용하여, 최종 태스크 성공 시 그 과정에서 거쳐온 중간 지식 검색 단계들의 유용성을 소급 평가함.
🔗 지식 연결 (Graph)
- Temporal-Difference-Learning, Reinforcement-Learning, Q-Learning-Foundations, Monte-Carlo-Methods
- Raw Source: 10_Wiki/Topics/AI/Eligibility-Traces.md
🤖 LLM 활용 힌트 (How to Use This Knowledge)
언제 이 지식을 쓰는가:
- (TODO)
언제 쓰면 안 되는가:
- (TODO)
🧪 검증 상태 (Validation)
- 정보 상태: needs_review
- 출처 신뢰도: A
- 검토 이유: (P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)
🧬 중복 검사 (Duplicate Check)
- 기존 유사 문서: (TODO: 인덱서 클러스터 리포트 참조)
- 처리 방식: UPDATE (자동 정규화)
- 처리 이유: Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
🕓 변경 이력 (Changelog)
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|---|---|---|---|
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |