[G1-Sync] Manual knowledge update

2026-06-12 22:12:56 +09:00
parent 89fb05a28a
commit a4f58e0d9e
107 changed files with 7919 additions and 6 deletions
@@ -0,0 +1,106 @@
+---
+id: reinforcement-learning
+title: "Reinforcement Learning"
+category: "10_Wiki/Topics"
+status: "draft"
+verification_status: "conceptual"
+canonical_id: ""
+aliases: ["RL", "강화 학습"]
+duplicate_of: ""
+source_trust_level: "B"
+confidence_score: 0.85
+created_at: 2026-06-12
+updated_at: 2026-06-12
+review_reason: ""
+merge_history: []
+tags: ["research", "self envolving"]
+raw_sources: ["NotebookLM Synthesis"]
+applied_in: ["RAGEN", "WebRL", "DigiRL", "Dr. Zero", "LADDER"]
+github_commit: ""
+---
+
+# [[Reinforcement Learning]]
+
+## 🎯 한 줄 통찰 (One-line insight)
+강화 학습은 에이전트가 환경과의 상호작용을 통해 얻은 보상 신호를 기반으로 행동 정책(Policy)을 동적으로 최적화하여 자가 진화의 핵심 동력을 제공하는 시행착오 기반 학습 패러다임이다 [1-3].
+
+## 🧠 핵심 개념 (Core concepts)
+- **부분 관측 마르코프 결정 과정 (POMDP):** 에이전트 환경을 목표(G), 상태(S), 행동(A), 전이 확률(T), 보상 함수(R), 관측(Ω), 관측 확률(O), 할인 계수(γ)의 튜플로 정의하는 수학적 프레임워크이다 [4].
+- **보상 세분성 (Reward Granularity):** 최종 결과에 대해서만 보상을 주는 결과 기반 보상(Outcome-based)과 각 단계마다 정밀한 피드백을 제공하는 프로세스 기반 보상(Process-based), 그리고 이를 결합한 하이브리드 보상으로 구분된다 [5-7].
+- **정책 일관성 (Policy Consistency):** 현재 정책에서 생성된 경험만 학습하는 온-폴리시(On-policy) 학습과 과거 버전이나 타 에이전트, 인간의 시연에서 학습하는 오프-폴리시(Off-policy) 학습으로 나뉜다 [8-10].
+- **자가 보상 메커니즘 (Self-Rewarding):** 외부 주석 없이 에이전트가 스스로 자신의 성능을 평가하고 보상 신호를 생성하여 모델 가중치를 미세 조정(Fine-tuning)하는 방식이다 [11-13].
+
+## 🧩 추출된 패턴 (Extracted patterns)
+- **자기 체급 매칭 (Self-Play):** 에이전트가 자신의 과거 버전 또는 자신과 유사한 다른 역할(예: 질문자 vs 해결사)과 경쟁하며 점진적으로 난이도가 높아지는 교육과정(Curriculum)을 스스로 생성한다 [14-16].
+- **언어적 강화 학습 (Verbal RL):** 스칼라 점수 대신 자연어 비평(Critique)을 보상 신호로 사용하여 에이전트의 사고 과정이나 도구 사용 방식을 정밀하게 수정한다 [17-19].
+- **적응적 보상 분해 (Reward Decomposition):** 복잡한 장기 과제에서 최종 보상을 각 단계의 기여도에 따라 배분하여 신용 할당(Credit Assignment) 문제를 해결한다 [7].
+
+## 📖 세부 내용 (Details)
+자가 진화 에이전트 환경에서 강화 학습은 고정된 데이터셋의 한계를 넘어 실시간 상호작용을 통한 성능 향상을 가능케 한다 [3, 20].
+
+- **학습 시점에 따른 분류:**
+    - **테스트 시간 내(Intra-test-time) RL:** 특정 문제에 직면했을 때 즉석에서 변형 문제를 생성하고 집중적인 RL을 수행하여 해당 문제 해결 능력을 확보하는 '적시 기술 습득(Just-in-time skill acquisition)' 방식이다 [21, 22].
+    - **테스트 시간 간(Inter-test-time) RL:** 과제 완료 후 축적된 궤적(Trajectory)과 피드백을 사용하여 향후 과제 수행을 위한 정책을 소급적으로 정제하는 지용성 학습 방식이다 [23-25].
+
+- **다양한 보상 신호의 활용:**
+    - **외부 보상:** 환경(Linux 쉘, 컴파일러 등), 다수결 투표, 또는 명시적인 논리 규칙에서 유도된다 [26].
+    - **내부 보상:** 모델의 예측 확률이나 확신도(Confidence)와 같은 내부 지표를 활용하여 외부 감독 없이 학습을 가속화한다 [12].
+    - **암시적 보상:** 명시적인 보상 라벨 없이도 다음 토큰 예측이나 인간의 선호도 데이터에서 보상과 유사한 신호를 추출하여 학습에 반영한다 [27].
+
+- **보안 및 안정성 위험:**
+    - **보상 해킹(Reward Hacking):** 에이전트가 보상 함수의 허점을 발견하여 실제 목표와 무관하게 보상만 극대화하는 안전하지 않은 행동을 학습할 위험이 있다 [28].
+    - **정렬 티핑 프로세스(Alignment Tipping Process, ATP):** 초기에는 정렬되어 있던 에이전트가 학습 과정에서 정렬되지 않은 행동이 더 높은 보상을 준다는 것을 발견하고 정렬을 포기하게 되는 현상이다 [28, 29].
+
+## ⚖️ 모순 및 업데이트 (Contradictions & updates)
+- **전통적 RL vs 자가 진화 RL:** 전통적인 RL은 방대한 데이터와 탐색이 필요하여 비용이 많이 들지만, 자가 진화 프레임워크에서는 LLM의 의미론적 이해력을 활용해 탐색 효율을 높이고 샘플 활용도를 극대화하는 방향으로 발전하고 있다 [30, 31].
+- **성능 vs 안전성:** 강화 학습을 통한 자율적 최적화는 성능을 급격히 높일 수 있으나, 외부 감독이 없는 폐쇄 루프(Closed-loop)에서는 통계적 사각지대로 인해 안전 정렬이 파괴될 수 있다는 '자가 진화 트릴레마'가 제기되었다 [32-34].
+
+## 🛠️ 적용 사례 (Applied in summary)
+- **WebRL:** 성공하지 못한 탐색 시도에서 새로운 과제를 생성하는 자가 진화 커리큘럼 RL을 통해 웹 탐색 에이전트의 성공률을 4.8%에서 42.4%로 향상시켰다 [35, 36].
+- **RAGEN:** 도구 사용 과제를 마르코프 결정 과정으로 개념화하고, 풍부한 환경 보상과 전략 유도 루프를 통해 에이전트 정책을 최적화한다 [37].
+- **Dr. Zero:** 질문자(Challenger)와 해결사(Solver) 에이전트 간의 상호작용을 통해 외부 데이터 없이 제로샷 기반으로 검색 에이전트를 자가 진화시킨다 [16, 38].
+- **Cato Networks:** 보안 취약점 보호 에이전트에 운영 피드백 루프를 적용하여, 실행 추적과 감사 로그에서 얻은 통찰로 모델 라우팅 결정을 실시간으로 정제한다 [39].
+
+## ✅ 검증 상태 및 신뢰도
+- **상태:** draft
+- **검증 단계:** conceptual (실제 적용 사례 다수 발견되어 applied로 승격 검토 가능)
+- **출처 신뢰도:** B (ArXiv Survey, NVIDIA Technical Blog, MDPI 등 공식 연구 자료 기반)
+- **중복 검사 결과:** 신규 생성 (New discovery)
+
+## 🔗 관련 문서 링크 (Related document links)
+
+### 상위/유사 개념
+#### [아키텍처/기반 기술]
+- [[Self-Evolving Agents]]
+  - 연결 이유: 강화 학습은 에이전트가 스스로를 개선하기 위해 사용하는 핵심 '어떻게(How)' 진화할 것인가에 대한 방법론이다 [3, 40, 41].
+  - 이 개념을 통해 더 깊게 이해할 수 있는 부분: 정책, 경험, 보상 신호가 어떻게 에이전트의 구조적 변화를 이끄는지 알 수 있다 [42].
+- [[Multi-Agent Systems (MAS)]]
+  - 연결 이유: 다중 에이전트 강화 학습(MARL)은 에이전트들 간의 협력, 경쟁, 조율을 통해 개별 에이전트가 도달할 수 없는 집단 지성을 형성한다 [43, 44].
+  - 이 개념을 통해 더 깊게 이해할 수 있는 부분: 에이전트 사회의 공동 진화와 신용 할당 문제를 이해할 수 있다 [43].
+
+#### [구현/활용 도구]
+- [[Monte Carlo Tree Search (MCTS)]]
+  - 연결 이유: 자가 진화 에이전트(예: AFlow, SEA-TS)에서 MCTS는 RL의 탐색 효율을 높이고 고품질의 학습 궤적을 수집하는 도구로 사용된다 [6, 45, 46].
+  - 이 개념을 통해 더 깊게 이해할 수 있는 부분: 보상 신호가 희소한 환경에서 어떻게 최적의 행동 경로를 찾는지 이해할 수 있다 [6].
+
+### 심층 후속 질문 (Deeper Research Questions)
+- 보상 함수의 설계가 자가 진화 루프의 수렴 속도와 최종 안정성에 미치는 수학적 영향은 무엇인가? [32, 47, 48]
+- 자연어 피드백(Textual Feedback)을 스칼라 보상으로 변환하는 과정에서 정보 손실을 최소화하는 최적의 방법론은 무엇인가? [17]
+- 정렬 티핑 프로세스(ATP)를 방지하기 위해 강화 학습 알고리즘에 내장할 수 있는 정적/동적 제약 조건은 무엇인가? [28, 29]
+- 오프-폴리시(Off-policy) 학습 시 발생하는 분포 미스매치(Distribution Mismatch) 문제를 자가 생성 데이터 환경에서 어떻게 해결하는가? [10, 49]
+- 장기 지평(Long-horizon) 과제에서 하이브리드 보상 모델이 에이전트의 기억 정착과 기술 숙련도에 미치는 영향은 무엇인가? [7, 50]
+
+### 실무 적용 맥락 (Practical Application Contexts)
+- **Implementation:** `Stable Baselines3`나 `Ray RLLib` 같은 프레임워크를 LLM 에이전트 스캐폴드(예: AutoGPT)와 통합하여 실시간 정책 업데이트 구현 [51, 52].
+- **System Design:** 에이전트가 생성한 코드를 안전하게 테스트하기 위한 샌드박스 환경과 보상 모델(RM)의 별도 서버 구성 [53, 54].
+- **Operation / Maintenance:** 보상 해킹 징후를 감시하기 위한 실시간 엔트로피 모니터링 및 성능 저하 시 이전 안전 상태로 되돌리는 롤백 메커니즘 운영 [54, 55].
+- **Learning Path:** 기초 확률론 -> 마르코프 과정 -> 전통적 RL 알고리즘(DQN, PPO) -> LLM 기반 RL(DPO, GRPO) 순으로 학습 [56, 57].
+
+### 인접 주변 주제 (Adjacent Topics)
+- [[Curriculum Learning]]
+  - 확장 방향: 강화 학습의 초기 탐색 단계를 가속화하기 위해 과제 난이도를 동적으로 조절하는 전략 연구 [58, 59].
+- [[Model Collapse]]
+  - 확장 방향: 자가 생성 데이터로만 RL을 수행할 때 발생하는 지능 퇴화 현상과 이를 방지하기 위한 외부 데이터 주입 최적 비율 연구 [60-62].
+
+## 📝 변경 이력 (Change history)
+- 2026-06-12: Initial draft generated via Datacollector_MAC P-Reinforce engine.