2nd/10_Wiki/Topics/AI/Best-of-N-Sampling.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-BONS-001	10_Wiki/💡 Topics/AI	0.94	auto-reinforced best-of-n sampling-strategy inference-optimization llm reasoning reranking	2026-04-20

Best-of-N-Sampling

📌 한 줄 통찰 (The Karpathy Summary)

"지능의 물량 공세: 한 번에 정답을 맞히려 애쓰기보다, N개의 답변을 동시에 생성한 뒤 그중 가장 논리적이고 정확한 '최선의 답변'을 골라내는 방식으로 추론 능력을 비약적으로 끌어올리는 인퍼런스 최적화 전술."

📖 구조화된 지식 (Synthesized Content)

Best-of-N Sampling(최적 샘플링)은 거대 언어 모델(LLM)의 추론 품질을 높이기 위해 사용되는 디코딩 시점의 리랭킹(Reranking) 기법입니다.

1. 메커니즘:
   • Generation: 동일한 프롬프트에 대해 Temperature를 조절하여 N개의 독립적인 답변 후보를 생성.
   • Scoring (Reward Model): 생성된 N개의 답변을 보상 모델(RM)이나 특정 검증 로직(Verifier)으로 평가.
   • Selection: 가장 높은 점수를 받은 답변을 최종 출력으로 선택.
2. 왜 중요한가?:
   • 모델 자체를 추가 학습(Training)시키지 않고도, 추론 시점의 연산 자원(Inference compute)을 추가 투입하여 SOTA 급의 성능을 낼 수 있기 때문임. (Scalability와 연결)

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 무조건 '가장 확률 높은 다음 토큰(Greedy search)'만 찾는 것이 최선이라 여겼으나, 현대 정책은 다양성 정책(Diversity)을 확보한 뒤 사후 검증 정책(Post-verification)을 거치는 것이 훨씬 더 복잡한 추론 문제 정책에 효과적임을 증명함(RL Update).
• 정책 변화(RL Update): 최근 OpenAI o1 등 추론 전문 모델 정책은 단순히 N개를 뽑는 수준을 넘어, 생각의 체인(CoT) 과정 자체를 검증하고 수정하는 시스템으로 진화 중임. (Tree-of-Thought와 연결)

🔗 지식 연결 (Graph)

• Scalability, Reinforcement Learning (RL), Tree-of-Thought, Search-Strategy, Inference
• Related Terms: Rejection Sampling, Majority Voting, Thought-level Verifiers.

---