Antigravity Agent
36 lines
2.6 KiB
Markdown
36 lines
2.6 KiB
Markdown
---
|
|
id: P-REINFORCE-AUTO-PPO-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 0.99
|
|
tags: [auto-reinforced, reinforcement-learning, algorithm, openai, policy-gradient]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Proximal Policy Optimization (PPO)|Proximal Policy Optimization (PPO)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "강화학습계의 안정적인 표준: 너무 과감한 변화로 성과가 망가지는 것을 막으면서도, 효율적으로 지식을 습득하게 설계된 '중용'의 최적화 알고리즘."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
PPO(근접 정책 최적화)는 OpenAI에서 2017년에 발표한 알고리즘으로, 정책 그래디언트 방식의 불안정성을 해결하여 현재 가장 널리 쓰이는 표준 강화학습 알고리즘입니다.
|
|
|
|
1. **핵심 아이디어 (Clipped Objective)**:
|
|
* 새로운 정책이 이전 정책에서 너무 멀리 벗어나지 못하도록 업데이트 크기를 일정 범위(보통 10~20%) 내로 강제 제한(Clipping).
|
|
* 이를 통해 학습 데이터의 재사용성을 높이면서도 성능이 급격히 떨어지는 '붕괴' 현상 방지.
|
|
2. **구조 유형**:
|
|
* **PPO-Clip**: 수식에서 직접 비율을 자르는 가장 흔한 방식.
|
|
* **PPO-Penalty**: KL-divergence를 사용하여 너무 멀어지면 벌칙을 주는 방식.
|
|
3. **강점**:
|
|
* 다른 정밀 알고리즘(TRPO 등)보다 구현이 매우 간단함.
|
|
* 하이퍼파라미터 민감도가 낮아 다양한 도메인에서 준수한 성능을 보임.
|
|
* 연속적인 행동(로봇 팔)과 이산적인 행동(게임 버튼)에 모두 적용 가능.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 초기 강화학습은 학습률(Learning Rate) 하나만 잘못 설정해도 모델이 회복 불가능한 상태에 빠졌으나, PPO 이후로는 '일단 돌려도 터지지 않는' 안정적인 학습 시대가 열림.
|
|
- **정책 변화(RL Update)**: ChatGPT와 같은 대규모 언어 모델의 RLHF(인간 피드백 기반 강화학습) 과정에서 PPO가 핵심 엔진으로 사용됨에 따라, 초거대 모델의 학습 안정성을 보장하기 위한 '분산 PPO 병렬화 정책'이 인프라 설계의 핵심이 됨.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Policy-Optimization|Policy-Optimization]], [[Reinforcement Learning (RL)|Reinforcement Learning (RL)]], Policy Gradient Methods, [[Optimization|Optimization]], [[Ps-Reinforce Policy Framework|Ps-Reinforce Policy Framework]]
|
|
- **Modern Tech/Tools**: Stable Baselines3, OpenAI Gym/Gymnasium, Ray Rllib.
|
|
---
|