Antigravity Agent
65 lines
5.9 KiB
Markdown
65 lines
5.9 KiB
Markdown
---
|
|
id: monte-carlo-tree-search-(mcts)
|
|
title: "Monte Carlo Tree Search (MCTS)"
|
|
category: "10_Wiki/Topics"
|
|
status: "draft"
|
|
verification_status: "conceptual"
|
|
canonical_id: ""
|
|
aliases: ["MA-MCTS", "Metric-Advantage MCTS"]
|
|
duplicate_of: ""
|
|
source_trust_level: "B"
|
|
confidence_score: 0.85
|
|
created_at: 2026-06-12
|
|
updated_at: 2026-06-12
|
|
review_reason: ""
|
|
merge_history: []
|
|
tags: ["research", "self envolving", "optimization", "search-algorithm"]
|
|
raw_sources: ["NotebookLM Synthesis"]
|
|
applied_in: ["AFlow", "PromptAgent", "Math-Shepherd", "AlphaMath", "Agent Q", "SEA-TS"]
|
|
github_commit: ""
|
|
---
|
|
|
|
# [[Monte Carlo Tree Search (MCTS)]]
|
|
|
|
## 🎯 한 줄 통찰 (One-line insight)
|
|
MCTS는 자기 진화형 에이전트 시스템에서 방대한 설계 공간을 탐색하고, 복잡한 추론 과정의 단계별 보상을 생성하며, 최적의 프롬프트와 워크플로우를 전략적으로 발견하기 위한 핵심 탐색 알고리즘이다. [1-4]
|
|
|
|
## 🧠 핵심 개념 (Core concepts)
|
|
- **설계 공간 탐색 (Design Space Navigation):** 에이전트 시스템의 워크플로우 구성이나 알고리즘 소스 코드와 같은 방대하고 튜링 완전한 설계 공간을 효율적으로 탐색한다. [2, 5]
|
|
- **단계별 감독 (Step-wise Supervision):** 최종 정답 도출 가능성을 평가하여 복잡한 추론 문제(예: 수학)의 중간 단계들에 대한 정교한 보상 신호를 생성한다. [3]
|
|
- **탐색과 활용의 균형 (Exploration-Exploration Trade-off):** 새로운 전략적 경로의 발견과 기존 고성능 경로의 정밀화 사이에서 균형을 맞춘다. [3, 4]
|
|
- **지표 우위 가이드 (Metric-Advantage Guidance):** 고정된 보상 대신 정규화된 우위 점수(Advantage Score)를 사용하여 탐색의 변별력을 높인다. [4]
|
|
|
|
## 🧩 추출된 패턴 (Extracted patterns)
|
|
- **자동 프로세스 주석화 (Automatic Process Annotation):** 인간의 개입 없이 MCTS 롤아웃을 통해 중간 단계의 정확성을 평가하고 프로세스 보상 모델(PRM) 학습 데이터를 생성하는 패턴이다. [3]
|
|
- **프롬프트 발견의 트리 탐색화:** 명령어(Instruction) 공간을 트리 구조로 간주하고 MCTS를 통해 전략적으로 최적의 프롬프트를 찾아내는 휴리스틱이다. [1]
|
|
- **인구 기반 워크플로우 탐색:** 여러 에이전트의 협색 구조(Topology)를 최적화하기 위해 MCTS를 사용하여 인간이 설계한 것보다 우수한 워크플로우를 자동 발견한다. [2, 6]
|
|
|
|
## 📖 세부 내용 (Details)
|
|
- **워크플로우 자동 생성 (AFlow):** AFlow 프레임워크는 재사용 가능한 연산자를 도입하고 MCTS를 사용하여 에이전트 간의 통신 구조와 작업 위임 체계를 최적화한다. 이를 통해 인간이 설계한 시스템보다 높은 성능을 달성할 수 있음을 증명했다. [2, 6]
|
|
- **시계열 예측 알고리즘 진화 (SEA-TS):** **Metric-Advantage MCTS(MA-MCTS)**를 도입하여 시계열 예측 코드 생성 및 최적화를 수행한다. 고정된 보상을 정규화된 이점 점수로 대체하여 탐색의 효율성을 높였으며, 이를 통해 태양광 및 전력 부하 예측에서 SOTA(State-of-the-art) 성능을 기록했다. [4]
|
|
- **수학적 추론 강화:**
|
|
- **Math-Shepherd:** MCTS를 활용해 각 단계가 정답으로 이어질 잠재력을 평가함으로써 인간의 주석 없이도 단계별 감독 신호를 수집한다. [3]
|
|
- **AlphaMath:** MCTS 프레임워크 내에서 탐색과 활용을 반복하며 정책(Policy)과 가치 모델(Value Model)을 동시에 업데이트한다. [3]
|
|
- **Agent Q:** MCTS 프로세스에 단계별 검증 메커니즘을 통합하여 고품질 궤적을 수집하고, 이를 DPO(Direct Preference Optimization) 학습에 활용한다. [3]
|
|
- **프롬프트 최적화 (PromptAgent):** 프롬프트 발견 과정을 MCTS로 모델링하여 에이전트가 수행할 작업의 명령어를 전략적으로 탐색하고 개선한다. [1]
|
|
|
|
## ⚖️ 모순 및 업데이트 (Contradictions & updates)
|
|
- **보상 설계의 진화:** 초기 시스템들은 고정된 보상 값을 사용했으나, 최신 연구인 SEA-TS에서는 탐색의 변별력을 위해 정규화된 '우위 점수(Advantage Score)'를 사용하는 방식으로 업데이트되었다. [4]
|
|
- **트리에서 그래프로의 확장:** MLEvolve와 같은 최신 프레임워크는 MCTS를 확장한 **Progressive MCGS(Monte Carlo Graph Search)**를 사용하여 브랜치 간 정보 흐름을 허용하고 탐색에서 활용으로 점진적으로 전환하는 방식을 채택하고 있다. [7]
|
|
|
|
## 🛠️ 적용 사례 (Applied in summary)
|
|
- **AFlow:** Monte Carlo Tree Search를 인구 기반 워크플로우 탐색의 핵심 알고리즘으로 사용하여 수학 문제(GSM8K, MATH) 해결 능력을 극대화했다. [6]
|
|
- **SEA-TS:** MA-MCTS를 통해 시계열 예측 알고리즘의 소스 코드를 자율 생성하고 물리적 제약 조건을 반영한 새로운 아키텍처 패턴을 발견했다. [4]
|
|
- **Math-Shepherd & AlphaMath:** 수학 문제 해결을 위한 단계별 보상 모델(PRM) 구축 및 정책 개선에 MCTS 롤아웃 데이터를 적용했다. [3]
|
|
- **PromptAgent:** 전문가 수준의 프롬프트 최적화를 위해 명령어 공간 탐색 도구로 MCTS를 활용했다. [1]
|
|
- **Agent Q:** 웹 브라우징 등 복잡한 작업에서 고품질 실행 궤적을 수집하기 위해 MCTS 기반의 검증 루프를 적용했다. [3]
|
|
|
|
## ✅ 검증 상태 및 신뢰도
|
|
- **상태:** draft
|
|
- **검증 단계:** conceptual (AFlow, SEA-TS 등 실제 프레임워크 내 핵심 알고리즘으로 적용됨 확인)
|
|
- **출처 신뢰도:** B (학술 논문 및 기술 조사를 기반으로 한 종합 정보)
|
|
- **중복 검사 결과:** 신규 생성 (New discovery)
|
|
|
|
## 📝 변경 이력 (Change history)
|
|
- 2026-06-12: 초기 초안 작성. P-Reinforce v3.0 규격 적용. 자기 진화 에이전트 내 MCTS 역할 및 변형 알고리즘(MA-MCTS, MCGS) 데이터 통합. [Datacollector_MAC P-Reinforce engine] |