---
id: wiki-2026-0508-eligibility-traces
title: Eligibility Traces
category: 10_Wiki/Topics
status: needs_review
canonical_id: self
aliases: [RL-ELIG-001]
duplicate_of: none
source_trust_level: A
confidence_score: 1.0
tags: ["Reinforcement-Learning|[Reinforcement-Learning", ai, eligibility-traces, credit-assignment, temporal-difference]
raw_sources: []
last_reinforced: 2026-04-26
github_commit: pending
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
---

# Eligibility Traces (적격성 흔적)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "현재의 보상을 과거의 어떤 행동에 나누어줄지 결정하는 지능적 기억의 자국" — 강화학습에서 발생한 보상을 과거에 방문했던 상태들과 연결하여 업데이트 효율을 높이는 기술로, TD($\lambda$) 알고리즘의 핵심.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 사건이 발생한 시점으로부터 시간이 지날수록 그 영향력을 서서히 감소시키되(Decay), 최근에 자주 방문한 상태에는 더 높은 기여도를 부여하는 시간적 신용 할당 패턴.
- **핵심 요소:**
    - **Trace Decay ($\lambda$):** 0과 1 사이의 값으로, 과거 상태의 흔적을 얼마나 빨리 지울지 결정.
    - **Frequency Heuristic:** 자주 방문한 상태일수록 더 많은 보상을 받을 자격이 있음.
    - **Recency Heuristic:** 최근에 방문한 상태일수록 현재 보상에 대한 기여도가 높음.
    - **TD($\lambda$):** 한 번의 업데이트로 여러 단계 이전의 상태 가치를 동시에 갱신하여 학습 속도 향상.
- **의의:** 에피소드가 끝날 때까지 기다리는 몬테카를로 방식과 바로 다음 단계만 보는 TD(0) 방식 사이의 유연한 조절 장치 제공.

## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
- **과거 데이터와의 충돌:** 한 번에 하나의 상태만 업데이트하던 비효율적인 방식에서, 흔적을 남겨 시퀀스 전체를 효율적으로 학습하는 구조로 진화.
- **정책 변화:** Antigravity 에이전트의 다단계 의사결정 모델은 적격성 흔적 원리를 활용하여, 최종 태스크 성공 시 그 과정에서 거쳐온 중간 지식 검색 단계들의 유용성을 소급 평가함.

## 🔗 지식 연결 (Graph)
- [[Temporal-Difference-Learning|Temporal-Difference-Learning]], [[Reinforcement-Learning|Reinforcement-Learning]], Q-Learning-Foundations, [[Monte-Carlo-Methods|Monte-Carlo-Methods]]
- **Raw Source:** 10_Wiki/Topics/AI/Eligibility-Traces.md

## 🤖 LLM 활용 힌트 (How to Use This Knowledge)

**언제 이 지식을 쓰는가:**
- *(TODO)*

**언제 쓰면 안 되는가:**
- *(TODO)*

## 🧪 검증 상태 (Validation)

- **정보 상태:** needs_review
- **출처 신뢰도:** A
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*

## 🧬 중복 검사 (Duplicate Check)

- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
- **처리 방식:** UPDATE (자동 정규화)
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.

## 🕓 변경 이력 (Changelog)

| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|------|-----------|-----------|--------|
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |