2nd/10_Wiki/Topics/AI_and_ML/Actor-Critic-Models.md

id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, tags, raw_sources, last_reinforced, github_commit, inferred_by, tech_stack

id	title	category	status	canonical_id	aliases	duplicate_of	source_trust_level	confidence_score	tags	raw_sources	last_reinforced	github_commit	inferred_by	tech_stack
wiki-2026-0508-actor-critic-models	Actor Critic Models	10_Wiki/Topics	needs_review	self	P-Reinforce-AUTO-ACMO-001	none	A	0.99	auto-reinforced Reinforcement-Learning actor-critic Deep-Learning machine-learning-Architecture		2026-04-20	pending	Claude Opus 4.7 (auto-normalize 2026-05-08)	language framework unspecified unspecified

Actor-Critic-Models

📌 한 줄 통찰 (The Karpathy Summary)

"배우와 비평가의 이인삼조: 직접 행동하며 점수를 따는 '배우(Actor)'와, 그 행동의 가치를 냉정하게 평가하여 배우의 실력을 키워주는 '비평가(Critic)'가 결합된 가장 강력한 강화학습 구조."

📖 구조화된 지식 (Synthesized Content)

액터-크리틱(Actor-Critic) 모델은 강화학습에서 정책 기반(Policy-based) 방식과 가치 기반(Value-based) 방식의 장점을 결합한 아키텍처입니다.

1. 구성 요소와 역할:
   • Actor (정책): 현재 상태에서 어떤 행동을 할지 결정. 학습을 통해 더 높은 보상을 얻는 행동의 확률을 높임.
   • Critic (가치): 배우가 취한 행동의 결과를 보고, 그 상태의 가치(Value)나 보상 예측 오차(TD Error)를 계산하여 가이드라인 제공.
2. 학습 루프:
   • 배우가 행동 수행 -> 환경이 보상 반환 -> 비평가가 평가(Value 예측) -> 비평가가 자신의 오류(Critic Loss) 수정 및 배우에게 '어드밴티지(Advantage)' 전달 -> 배우가 칭찬받은 방향으로 정책 업데이트.
3. 왜 사용하는가?:
   • 기존 Policy Gradient 방식의 높은 분산(Variance) 문제를 비평가의 안정적인 가치 평가로 완화하여 학습의 수렴 속도를 비약적으로 높임.

⚠️ 모순 및 업데이트 (Contradictions & Updates)

• 과거 데이터와의 충돌: 초기 강화학습은 한쪽(Actor 혹은 Critic)에만 치우쳐 학습 효율이 낮았으나, 현대의 정책 기반 RL 정책은 A3C, PPO, SAC 등 액터-크리틱 구조를 표준으로 채택하여 인간 수준의 게임 및 로봇 제어 정책을 실현함(RL Update).
• 정책 변화(RL Update): 거대 언어 모델의 RLHF 과정에서, 보상 모델(RM)이 비평가 역할을 수용하여 모델의 답변 품질을 정밀하게 교정하는 '언어 지능용 액터-크리틱 정책'이 생성 AI 품질의 핵심 지표로 자리 잡음.

🔗 지식 연결 (Graph)

• Reinforcement Learning (RL), RLHF (인간 피드백 기반 강화 학습), Reward Prediction Error, Decision Theory, Robotics
• Modern Tech/Tools: PPO (Proximal Policy Optimization), Soft Actor-Critic (SAC), Stable Baselines3.

---

🤖 LLM 활용 힌트 (How to Use This Knowledge)

언제 이 지식을 쓰는가:

• (TODO)

언제 쓰면 안 되는가:

• (TODO)

🧪 검증 상태 (Validation)

• 정보 상태: needs_review
• 출처 신뢰도: A
• 검토 이유: (P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)

🧬 중복 검사 (Duplicate Check)

• 기존 유사 문서: (TODO: 인덱서 클러스터 리포트 참조)
• 처리 방식: UPDATE (자동 정규화)
• 처리 이유: Phase 1 정규화 — 옛 템플릿/누락 필드 보강.

🕓 변경 이력 (Changelog)

날짜	변경 내용	처리 방식	신뢰도
2026-05-08	P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화)	UPDATE	A

💻 코드 패턴 (Code Patterns)

패턴 1: (TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)

# TODO

🤔 의사결정 기준 (Decision Criteria)

선택 A를 써야 할 때:

• (TODO)

선택 B를 써야 할 때:

• (TODO)

기본값:

(TODO)

❌ 안티패턴 (Anti-Patterns)

• [안티패턴]: (TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)