2.6 KiB
2.6 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| RL-POLICY-DIFF-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Off-policy vs On-policy Learning (오프-폴리시 vs 온-폴리시 학습)
📌 한 줄 통찰 (The Karpathy Summary)
"현재 내가 걷는 길에서 직접 깨달을 것인가(On), 아니면 타인의 발자취나 과거의 일기에서 진리를 캘 것인가(Off)의 선택" — 에이전트가 학습하는 정책(Target Policy)과 실제로 행동하는 정책(Behavior Policy)의 일치 여부에 따른 강화학습 알고리즘의 분류 체계.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: "Direct Experience vs Decoupled Learning" — 현재의 무작위 행동이 다음 학습에 즉각 반영되어 안정성을 확보하는 패턴(On-policy)과, 과거의 경험 데이터(Experience Replay)를 재사용하여 데이터 효율성을 극대화하는 패턴(Off-policy) 사이의 전략적 선택.
- 주요 차이점:
- On-policy (예: SARSA, PPO): 자신이 실제로 수행한 행동을 바탕으로 가치를 업데이트. 학습이 안정적이지만 탐색 데이터 낭비가 큼.
- Off-policy (예: Q-learning, DQN, SAC): 최적의 행동을 가정하고 업데이트하거나 다른 에이전트의 기록에서도 학습 가능. 데이터 효율성이 압도적으로 높지만 학습이 불안정할 수 있음.
- 의의: 실제 로봇 제어나 게임 AI 설계 시, 데이터 수집 비용과 학습의 안정성 중 무엇을 우선할지에 대한 핵심 설계 기준이 됨.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 오프-폴리시가 무조건 효율적이라는 믿음에서 벗어나, 데이터의 분포가 너무 틀어지면 수렴하지 못하는 'Deadly Triad' 문제가 발생할 수 있음을 인지하고, 이를 해결하기 위한 정교한 샘플링 기법(Prioritized Experience Replay 등)이 현대적 정석이 됨.
- 정책 변화: Antigravity 프로젝트는 에이전트의 새로운 도구 사용 스킬을 학습시킬 때, 초기에는 오프-폴리시 기반의 대량 시뮬레이션 데이터로 지능을 쌓고, 실전 단계에서는 온-폴리시 기법을 적용하여 안전하고 정교하게 미세 조정한 정책을 수립함.
🔗 지식 연결 (Graph)
- Reinforcement-Learning, Markov-Decision-Process-MDP, Experience-Replay-Strategies, Proximal-Policy-Optimization-PPO
- Raw Source: 10_Wiki/Topics/AI/Off-policy-vs-On-policy-Learning.md