Antigravity Agent
37 lines
2.5 KiB
Markdown
37 lines
2.5 KiB
Markdown
---
|
|
id: P-REINFORCE-AUTO-RL-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 0.99
|
|
tags: [auto-reinforced, reinforcement-learning, machine-learning, ai-training, optimization]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Reinforcement Learning (RL)|Reinforcement Learning (RL)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "시행착오를 통한 지능의 획득: 데이터가 아닌 '보상'이라는 피드백을 나침반 삼아, 에이전트가 환경과 상호작용하며 스스로 최후의 승리 전략을 깨우쳐가는 야생의 학습법."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
강화학습(Reinforcement Learning)은 에이전트가 어떤 환경 안에서 현재의 상태를 인지하여 선택 가능한 행동 중 보상을 최대화하는 행동 혹은 순서를 선택하도록 하는 학습 방법입니다.
|
|
|
|
1. **기본 구성 요소 (MDP, Markov Decision Process)**:
|
|
* **Agent (에이전트)**: 학습의 주체.
|
|
* **Environment (환경)**: 에이전트가 상호작용하는 대상.
|
|
* **State (상태)**: 에이전트가 처한 상황에 대한 정보.
|
|
* **Action (행동)**: 에이전트가 상태를 변화시키기 위해 수행하는 일.
|
|
* **Reward (보상)**: 행동의 결과로 받는 점수.
|
|
2. **학심 딜레마**:
|
|
* **Exploration (탐험)**: 새로운 길을 가보며 경험치 쌓기.
|
|
* **Exploitation (활용)**: 지금까지 알아낸 최선의 길로 보상 챙기기.
|
|
3. **주요 유형**:
|
|
* 가치 기반 (Q-Learning), 정책 기반 (Policy Gradient), 모델 기반 (Model-based RL) 등.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 초기 RL은 바둑이나 체스 같은 한정된 환경에서만 가능해 보였으나, 최근에는 현실 세계의 복잡한 로봇 제어와 인간의 가치관을 학습하는 RLHF 단계까지 정복하며 '범용 인공지능(AGI)'으로 가는 가장 강력한 기술적 사다리로 평가됨.
|
|
- **정책 변화(RL Update)**: 보상만을 쫓는 에이전트가 예상치 못한 위험(Safety Violation)을 저지르는 것을 막기 위해, 수치화된 보상 뒤에 '인간의 윤리적 제약'을 프로그래밍하는 '정렬(Alignment) 정책'이 RL 연구의 최우선 순위로 부상함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Proximal Policy Optimization (PPO)|Proximal Policy Optimization (PPO)]], [[Policy-Optimization|Policy-Optimization]], [[Ps-Reinforce|Ps-Reinforce]], Neurobiology of Reward, Game Theory
|
|
- **Modern Tech/Tools**: Gymnasium (OpenAI Gym), DeepMind MuJoCo, Ray Rllib.
|
|
---
|