---
id: [[P-Reinforce|P-Reinforce]]-AUTO-ACMO-001
category: Unified
confidence_score: 0.99
tags: [auto-reinforced, [[Reinforcement-Learning|Reinforcement-Learning]], actor-critic, [[Deep-Learning|Deep-Learning]], machine-learning-[[Architecture|Architecture]]]
last_reinforced: 2026-04-20
---

# [[Actor-Critic-Models|Actor-Critic-Models]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "배우와 비평가의 이인삼조: 직접 행동하며 점수를 따는 '배우(Actor)'와, 그 행동의 가치를 냉정하게 평가하여 배우의 실력을 키워주는 '비평가(Critic)'가 결합된 가장 강력한 강화학습 구조."

## 📖 구조화된 지식 (Synthesized Content)
액터-크리틱(Actor-Critic) 모델은 강화학습에서 정책 기반(Policy-based) 방식과 가치 기반(Value-based) 방식의 장점을 결합한 아키텍처입니다.

1.  **구성 요소와 역할**:
    *   **Actor (정책)**: 현재 상태에서 어떤 행동을 할지 결정. 학습을 통해 더 높은 보상을 얻는 행동의 확률을 높임.
    *   **Critic (가치)**: 배우가 취한 행동의 결과를 보고, 그 상태의 가치(Value)나 보상 예측 오차(TD Error)를 계산하여 가이드라인 제공.
2.  **학습 루프**:
    *   배우가 행동 수행 -> 환경이 보상 반환 -> 비평가가 평가(Value 예측) -> 비평가가 자신의 오류(Critic Loss) 수정 및 배우에게 '어드밴티지(Advantage)' 전달 -> 배우가 칭찬받은 방향으로 정책 업데이트.
3.  **왜 사용하는가?**:
    *   기존 Policy Gradient 방식의 높은 분산(Variance) 문제를 비평가의 안정적인 가치 평가로 완화하여 학습의 수렴 속도를 비약적으로 높임.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 초기 강화학습은 한쪽(Actor 혹은 Critic)에만 치우쳐 학습 효율이 낮았으나, 현대의 정책 기반 RL 정책은 A3C, PPO, SAC 등 액터-크리틱 구조를 표준으로 채택하여 인간 수준의 게임 및 로봇 제어 정책을 실현함(RL Update).
- **정책 변화(RL Update)**: 거대 언어 모델의 RLHF 과정에서, 보상 모델(RM)이 비평가 역할을 수용하여 모델의 답변 품질을 정밀하게 교정하는 '언어 지능용 액터-크리틱 정책'이 생성 AI 품질의 핵심 지표로 자리 잡음.

## 🔗 지식 연결 (Graph)
- [[Reinforcement Learning (RL)|Reinforcement Learning (RL)]], [[RLHF (인간 피드백 기반 강화 학습)|RLHF (인간 피드백 기반 강화 학습)]], [[Reward Prediction Error|Reward Prediction Error]], [[Decision Theory|Decision Theory]], [[Robotics|Robotics]]
- **Modern Tech/Tools**: PPO (Proximal Policy [[Optimization|Optimization]]), Soft Actor-Critic (SAC), Stable Baselines3.
---