2nd/10_Wiki/Topics/Eligibility-Traces.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
RL-ELIG-001	10_Wiki/💡 Topics/AI	1.0	reinforcement-learning ai eligibility-traces credit-assignment temporal-difference	2026-04-26

Eligibility Traces (적격성 흔적)

📌 한 줄 통찰 (The Karpathy Summary)

"현재의 보상을 과거의 어떤 행동에 나누어줄지 결정하는 지능적 기억의 자국" — 강화학습에서 발생한 보상을 과거에 방문했던 상태들과 연결하여 업데이트 효율을 높이는 기술로, TD(\lambda) 알고리즘의 핵심.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 사건이 발생한 시점으로부터 시간이 지날수록 그 영향력을 서서히 감소시키되(Decay), 최근에 자주 방문한 상태에는 더 높은 기여도를 부여하는 시간적 신용 할당 패턴.
• 핵심 요소:
  • Trace Decay (\lambda): 0과 1 사이의 값으로, 과거 상태의 흔적을 얼마나 빨리 지울지 결정.
  • Frequency Heuristic: 자주 방문한 상태일수록 더 많은 보상을 받을 자격이 있음.
  • Recency Heuristic: 최근에 방문한 상태일수록 현재 보상에 대한 기여도가 높음.
  • TD(\lambda): 한 번의 업데이트로 여러 단계 이전의 상태 가치를 동시에 갱신하여 학습 속도 향상.
• 의의: 에피소드가 끝날 때까지 기다리는 몬테카를로 방식과 바로 다음 단계만 보는 TD(0) 방식 사이의 유연한 조절 장치 제공.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 한 번에 하나의 상태만 업데이트하던 비효율적인 방식에서, 흔적을 남겨 시퀀스 전체를 효율적으로 학습하는 구조로 진화.
• 정책 변화: Antigravity 에이전트의 다단계 의사결정 모델은 적격성 흔적 원리를 활용하여, 최종 태스크 성공 시 그 과정에서 거쳐온 중간 지식 검색 단계들의 유용성을 소급 평가함.

🔗 지식 연결 (Graph)

• Temporal-Difference-Learning, Reinforcement-Learning, Q-Learning-Foundations, Monte-Carlo-Methods
• Raw Source: 10_Wiki/Topics/AI/Eligibility-Traces.md