[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -2,14 +2,14 @@
|
||||
id: RL-POLICY-DIFF-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, reinforcement-learning, on-policy, off-policy, q-learning, sarsa]
|
||||
tags: [ai, [[Reinforcement-Learning]], on-policy, off-policy, q-learning, sarsa]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# Off-policy vs On-policy Learning (오프-폴리시 vs 온-폴리시 학습)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "현재 내가 걷는 길에서 직접 깨달을 것인가(On), 아니면 타인의 발자취나 과거의 일기에서 진리를 캘 것인가(Off)의 선택" — 에이전트가 학습하는 정책(Target Policy)과 실제로 행동하는 정책(Behavior Policy)의 일치 여부에 따른 강화학습 알고리즘의 분류 체계.
|
||||
> "현재 내가 걷는 길에서 직접 깨달을 것인가(On), 아니면 타인의 발자취나 과거의 일기에서 진리를 캘 것인가(Off)의 선택" — 에이전트가 학습하는 정책(Target Policy)과 실제로 행동하는 정책([[Behavior]] Policy)의 일치 여부에 따른 강화학습 알고리즘의 분류 체계.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Direct Experience vs Decoupled Learning" — 현재의 무작위 행동이 다음 학습에 즉각 반영되어 안정성을 확보하는 패턴(On-policy)과, 과거의 경험 데이터(Experience Replay)를 재사용하여 데이터 효율성을 극대화하는 패턴(Off-policy) 사이의 전략적 선택.
|
||||
@@ -23,5 +23,5 @@ last_reinforced: 2026-04-26
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 새로운 도구 사용 스킬을 학습시킬 때, 초기에는 오프-폴리시 기반의 대량 시뮬레이션 데이터로 지능을 쌓고, 실전 단계에서는 온-폴리시 기법을 적용하여 안전하고 정교하게 미세 조정한 정책을 수립함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Reinforcement-Learning]], [[Markov-Decision-Process-MDP]], Experience-Replay-Strategies, Proximal-Policy-Optimization-PPO
|
||||
- [[Reinforcement-Learning]], [[Markov-Decision-Process-MDP]], [[Experience-Replay]]-Strategies, Proximal-Policy-[[Optimization]]-PPO
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/Off-policy-vs-On-policy-Learning.md
|
||||
|
||||
Reference in New Issue
Block a user