Antigravity Agent
32 lines
2.5 KiB
Markdown
32 lines
2.5 KiB
Markdown
---
|
|
id: [[P-Reinforce|P-Reinforce]]-AUTO-BONS-001
|
|
category: Unified
|
|
confidence_score: 0.94
|
|
tags: [auto-reinforced, best-of-n, sampling-[[Strategy|Strategy]], [[Inference-Optimization|Inference-Optimization]], llm, [[Reasoning|Reasoning]], reranking]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Best-of-N-Sampling|Best-of-N-Sampling]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "지능의 물량 공세: 한 번에 정답을 맞히려 애쓰기보다, N개의 답변을 동시에 생성한 뒤 그중 가장 논리적이고 정확한 '최선의 답변'을 골라내는 방식으로 추론 능력을 비약적으로 끌어올리는 인퍼런스 최적화 전술."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
[[Best-of-N Sampling|Best-of-N Sampling]](최적 샘플링)은 거대 언어 모델(LLM)의 추론 품질을 높이기 위해 사용되는 디코딩 시점의 리랭킹(Reranking) 기법입니다.
|
|
|
|
1. **메커니즘**:
|
|
* **Generation**: 동일한 프롬프트에 대해 Temperature를 조절하여 N개의 독립적인 답변 후보를 생성.
|
|
* **Scoring (Reward Model)**: 생성된 N개의 답변을 보상 모델(RM)이나 특정 검증 로직(Verifier)으로 평가.
|
|
* **Selection**: 가장 높은 점수를 받은 답변을 최종 출력으로 선택.
|
|
2. **왜 중요한가?**:
|
|
* 모델 자체를 추가 학습(Training)시키지 않고도, 추론 시점의 연산 자원(Inference compute)을 추가 투입하여 [[SOTA|SOTA]] 급의 성능을 낼 수 있기 때문임. ([[Scalability|Scalability]]와 연결)
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 과거에는 무조건 '가장 확률 높은 다음 토큰(Greedy [[Search|Search]])'만 찾는 것이 최선이라 여겼으나, 현대 정책은 다양성 정책(Diversity)을 확보한 뒤 사후 검증 정책(Post-verification)을 거치는 것이 훨씬 더 복잡한 추론 문제 정책에 효과적임을 증명함(RL Update).
|
|
- **정책 변화(RL Update)**: 최근 OpenAI o1 등 추론 전문 모델 정책은 단순히 N개를 뽑는 수준을 넘어, 생각의 체인(CoT) 과정 자체를 검증하고 수정하는 시스템으로 진화 중임. (Tree-of-Thought와 연결)
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Scalability|Scalability]], [[Reinforcement Learning (RL)|Reinforcement Learning (RL)]], Tree-of-Thought, [[Search-Strategy|Search-Strategy]], Inference
|
|
- **Related Terms**: Rejection Sampling, Majority Voting, Thought-level Verifiers.
|
|
---
|