2nd/10_Wiki/Topics/AI/Best-of-N Sampling.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-BEST-OF-N	10_Wiki/💡 Topics/AI	0.99	Best-of-N Sampling Inference Reward Model AI Alignment	2026-04-20

Best-of-N-Sampling (Best-of-N 샘플링)

📌 한 줄 통찰 (The Karpathy Summary)

"열 정승보다 나은 한 명의 장군 찾기." LLM이 생성한 N개의 결과물 중, 보상 모델(Reward Model)이 가장 우수하다고 판단한 단 하나의 답변을 선택하여 품질을 극대화하는 추론 전략이다.

📖 구조화된 지식 (Synthesized Content)

• Generation & Scoring:
  • 동일한 프롬프트에 대해 정책 모델(Policy)이 여러 개의 독립된 답변을 생성하고, 이를 별도의 채점 모델(Reward)이 평가한다.
• Inference Time Compute:
  • 모델을 더 키우는 대신 '추론 단계의 연산량'을 늘려 성능을 향상시키는 경제적인 성능 고도화 방법(Scaling Laws for Inference).
• Quality Control:
  • 환각이 발생한 답변이나 안전 가이드라인을 어긴 답변을 필터링하고 가장 논리적인 결과물을 도출한다.

⚠️ 모순 및 업데이트 (RL Update)

• N이 커질수록 품질은 좋아지지만 코스트(비용)와 지연 시간(Latency)이 기하급수적으로 늘어난다. 따라서 서비스의 실시간성 요구도에 따라 N의 적절한 값을 정하는 것이 엔지니어링의 묘미다.

🔗 지식 연결 (Graph)

• Related: Prompt-Engineering , Reinforcement-Learning-from-Human-Feedback-(RLHF)
• Metric: Reward-Model-Training