---
id: RL-POLICY-DIFF-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, reinforcement-learning, on-policy, off-policy, q-learning, sarsa]
last_reinforced: 2026-04-26
---

# Off-policy vs On-policy Learning (오프-폴리시 vs 온-폴리시 학습)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "현재 내가 걷는 길에서 직접 깨달을 것인가(On), 아니면 타인의 발자취나 과거의 일기에서 진리를 캘 것인가(Off)의 선택" — 에이전트가 학습하는 정책(Target Policy)과 실제로 행동하는 정책(Behavior Policy)의 일치 여부에 따른 강화학습 알고리즘의 분류 체계.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Direct Experience vs Decoupled Learning" — 현재의 무작위 행동이 다음 학습에 즉각 반영되어 안정성을 확보하는 패턴(On-policy)과, 과거의 경험 데이터(Experience Replay)를 재사용하여 데이터 효율성을 극대화하는 패턴(Off-policy) 사이의 전략적 선택.
- **주요 차이점:**
    - **On-policy (예: SARSA, PPO):** 자신이 실제로 수행한 행동을 바탕으로 가치를 업데이트. 학습이 안정적이지만 탐색 데이터 낭비가 큼.
    - **Off-policy (예: Q-learning, DQN, SAC):** 최적의 행동을 가정하고 업데이트하거나 다른 에이전트의 기록에서도 학습 가능. 데이터 효율성이 압도적으로 높지만 학습이 불안정할 수 있음.
- **의의:** 실제 로봇 제어나 게임 AI 설계 시, 데이터 수집 비용과 학습의 안정성 중 무엇을 우선할지에 대한 핵심 설계 기준이 됨.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 오프-폴리시가 무조건 효율적이라는 믿음에서 벗어나, 데이터의 분포가 너무 틀어지면 수렴하지 못하는 'Deadly Triad' 문제가 발생할 수 있음을 인지하고, 이를 해결하기 위한 정교한 샘플링 기법(Prioritized Experience Replay 등)이 현대적 정석이 됨.
- **정책 변화:** Antigravity 프로젝트는 에이전트의 새로운 도구 사용 스킬을 학습시킬 때, 초기에는 오프-폴리시 기반의 대량 시뮬레이션 데이터로 지능을 쌓고, 실전 단계에서는 온-폴리시 기법을 적용하여 안전하고 정교하게 미세 조정한 정책을 수립함.

## 🔗 지식 연결 (Graph)
- [[Reinforcement-Learning|Reinforcement-Learning]], [[Markov-Decision-Process-MDP|Markov-Decision-Process-MDP]], Experience-Replay-Strategies, Proximal-Policy-Optimization-PPO
- **Raw Source:** 10_Wiki/Topics/AI/Off-policy-vs-On-policy-Learning.md