2nd/10_Wiki/Topics_Dev/Actor-Critic-Models.md

---

id: P-Reinforce-AUTO-ACMO-001 category: Dev confidence_score: 0.99 tags: [auto-reinforced, Reinforcement-Learning, actor-critic, Deep-Learning, machine-learning-Architecture] last_reinforced: 2026-04-20

Actor-Critic-Models

📌 한 줄 통찰 (The Karpathy Summary)

"배우와 비평가의 이인삼조: 직접 행동하며 점수를 따는 '배우(Actor)'와, 그 행동의 가치를 냉정하게 평가하여 배우의 실력을 키워주는 '비평가(Critic)'가 결합된 가장 강력한 강화학습 구조."

📖 구조화된 지식 (Synthesized Content)

액터-크리틱(Actor-Critic) 모델은 강화학습에서 정책 기반(Policy-based) 방식과 가치 기반(Value-based) 방식의 장점을 결합한 아키텍처입니다.

1. 구성 요소와 역할:
   • Actor (정책): 현재 상태에서 어떤 행동을 할지 결정. 학습을 통해 더 높은 보상을 얻는 행동의 확률을 높임.
   • Critic (가치): 배우가 취한 행동의 결과를 보고, 그 상태의 가치(Value)나 보상 예측 오차(TD Error)를 계산하여 가이드라인 제공.
2. 학습 루프:
   • 배우가 행동 수행 -> 환경이 보상 반환 -> 비평가가 평가(Value 예측) -> 비평가가 자신의 오류(Critic Loss) 수정 및 배우에게 '어드밴티지(Advantage)' 전달 -> 배우가 칭찬받은 방향으로 정책 업데이트.
3. 왜 사용하는가?:
   • 기존 Policy Gradient 방식의 높은 분산(Variance) 문제를 비평가의 안정적인 가치 평가로 완화하여 학습의 수렴 속도를 비약적으로 높임.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 초기 강화학습은 한쪽(Actor 혹은 Critic)에만 치우쳐 학습 효율이 낮았으나, 현대의 정책 기반 RL 정책은 A3C, PPO, SAC 등 액터-크리틱 구조를 표준으로 채택하여 인간 수준의 게임 및 로봇 제어 정책을 실현함(RL Update).
• 정책 변화(RL Update): 거대 언어 모델의 RLHF 과정에서, 보상 모델(RM)이 비평가 역할을 수용하여 모델의 답변 품질을 정밀하게 교정하는 '언어 지능용 액터-크리틱 정책'이 생성 AI 품질의 핵심 지표로 자리 잡음.

🔗 지식 연결 (Graph)

• Reinforcement Learning (RL), RLHF (인간 피드백 기반 강화 학습), Reward Prediction Error, Decision Theory, Robotics
• Modern Tech/Tools: PPO (Proximal Policy Optimization), Soft Actor-Critic (SAC), Stable Baselines3.

---