Antigravity Agent
30 lines
2.3 KiB
Markdown
30 lines
2.3 KiB
Markdown
---
|
|
id: RL-ELIG-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [reinforcement-learning, ai, eligibility-traces, credit-assignment, temporal-difference]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Eligibility Traces (적격성 흔적)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "현재의 보상을 과거의 어떤 행동에 나누어줄지 결정하는 지능적 기억의 자국" — 강화학습에서 발생한 보상을 과거에 방문했던 상태들과 연결하여 업데이트 효율을 높이는 기술로, TD($\lambda$) 알고리즘의 핵심.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 사건이 발생한 시점으로부터 시간이 지날수록 그 영향력을 서서히 감소시키되(Decay), 최근에 자주 방문한 상태에는 더 높은 기여도를 부여하는 시간적 신용 할당 패턴.
|
|
- **핵심 요소:**
|
|
- **Trace Decay ($\lambda$):** 0과 1 사이의 값으로, 과거 상태의 흔적을 얼마나 빨리 지울지 결정.
|
|
- **Frequency Heuristic:** 자주 방문한 상태일수록 더 많은 보상을 받을 자격이 있음.
|
|
- **Recency Heuristic:** 최근에 방문한 상태일수록 현재 보상에 대한 기여도가 높음.
|
|
- **TD($\lambda$):** 한 번의 업데이트로 여러 단계 이전의 상태 가치를 동시에 갱신하여 학습 속도 향상.
|
|
- **의의:** 에피소드가 끝날 때까지 기다리는 몬테카를로 방식과 바로 다음 단계만 보는 TD(0) 방식 사이의 유연한 조절 장치 제공.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 한 번에 하나의 상태만 업데이트하던 비효율적인 방식에서, 흔적을 남겨 시퀀스 전체를 효율적으로 학습하는 구조로 진화.
|
|
- **정책 변화:** Antigravity 에이전트의 다단계 의사결정 모델은 적격성 흔적 원리를 활용하여, 최종 태스크 성공 시 그 과정에서 거쳐온 중간 지식 검색 단계들의 유용성을 소급 평가함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Temporal-Difference-Learning|Temporal-Difference-Learning]], [[Reinforcement-Learning|Reinforcement-Learning]], Q-Learning-Foundations, [[Monte-Carlo-Methods|Monte-Carlo-Methods]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Eligibility-Traces.md
|