---
id: P-REINFORCE-AUTO-BONS-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.94
tags: [auto-reinforced, best-of-n, sampling-strategy, inference-optimization, llm, reasoning, reranking]
last_reinforced: 2026-04-20
---

# [[Best-of-N-Sampling|Best-of-N-Sampling]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "지능의 물량 공세: 한 번에 정답을 맞히려 애쓰기보다, N개의 답변을 동시에 생성한 뒤 그중 가장 논리적이고 정확한 '최선의 답변'을 골라내는 방식으로 추론 능력을 비약적으로 끌어올리는 인퍼런스 최적화 전술."

## 📖 구조화된 지식 (Synthesized Content)
Best-of-N Sampling(최적 샘플링)은 거대 언어 모델(LLM)의 추론 품질을 높이기 위해 사용되는 디코딩 시점의 리랭킹(Reranking) 기법입니다.

1.  **메커니즘**:
    *   **Generation**: 동일한 프롬프트에 대해 Temperature를 조절하여 N개의 독립적인 답변 후보를 생성.
    *   **Scoring (Reward Model)**: 생성된 N개의 답변을 보상 모델(RM)이나 특정 검증 로직(Verifier)으로 평가.
    *   **Selection**: 가장 높은 점수를 받은 답변을 최종 출력으로 선택.
2.  **왜 중요한가?**:
    *   모델 자체를 추가 학습(Training)시키지 않고도, 추론 시점의 연산 자원(Inference compute)을 추가 투입하여 SOTA 급의 성능을 낼 수 있기 때문임. (Scalability와 연결)

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 무조건 '가장 확률 높은 다음 토큰(Greedy search)'만 찾는 것이 최선이라 여겼으나, 현대 정책은 다양성 정책(Diversity)을 확보한 뒤 사후 검증 정책(Post-verification)을 거치는 것이 훨씬 더 복잡한 추론 문제 정책에 효과적임을 증명함(RL Update).
- **정책 변화(RL Update)**: 최근 OpenAI o1 등 추론 전문 모델 정책은 단순히 N개를 뽑는 수준을 넘어, 생각의 체인(CoT) 과정 자체를 검증하고 수정하는 시스템으로 진화 중임. (Tree-of-Thought와 연결)

## 🔗 지식 연결 (Graph)
- [[Scalability|Scalability]], [[Reinforcement Learning (RL)|Reinforcement Learning (RL)]], Tree-of-Thought, [[Search-Strategy|Search-Strategy]], Inference
- **Related Terms**: Rejection Sampling, Majority Voting, Thought-level Verifiers.
---