2nd/10_Wiki/Topics/Best-of-N Sampling ( ø).md

---

id: P-Reinforce-AI-BESTN category: Dev confidence_score: 0.98 tags: [LLM, Sampling, Best-of-N, Search, Generation] last_reinforced: 2026-04-20

Best-of-N-Sampling (베스트 오브 N 샘플링)

📌 한 줄 통찰 (The Karpathy Summary)

"열 번 찍어 안 넘어가는 나무 없다." AI에게 N번 시도하게 하고, 그중 가장 '정답에 가까운' 결과물을 보상 모델(Reward Model)로 골라내는 필승 전략이다.

📖 구조화된 지식 (Synthesized Content)

• 추론 시간 연산 (Inference-time Compute):
  • 모델의 크기를 키우는 대신, 추론 시점에 더 많은 계산을 수행하여 답변의 품질을 높이는 기법. 최근 OpenAI o1 등 추론 모델의 핵심 원리 중 하나다.
• Reward Modeling (RM):
  • N개의 답변 중 어떤 것이 가장 좋은지 판별하는 별도의 '감별사 AI'를 투입한다. 인간의 선호도(RLHF)를 반영한 RM이 최종 선택을 담당한다.
• Majority Voting vs Selection:
  • 수학 문제라면 답변들 중 가장 많이 나온 값(Majority Vote)을 택하고, 창의적 답변이라면 RM 스코어가 가장 높은 것을 택한다.

⚠️ 모순 및 업데이트 (RL Update)

• N이 클수록 품질은 올라가지만 비용과 응답 지연 시간(Latency)이 기하급수적으로 늘어난다. 실시간 서비스에서는 N=3~5 수준의 타협점이 요구되며, 최근에는 자가 수정(Self-Correction) 능력을 키우는 쪽으로 연구가 이동 중이다.

🔗 지식 연결 (Graph)

• Related: Reinforcement Learning , AI 모델 평가
• Context: Information Theory