---
id: [[P-Reinforce|P-Reinforce]]-AI-BEST-OF-N
category: Unified
confidence_score: 0.99
tags: [Best-of-N, Sampling, Inference, Reward Model, AI [[Alignment|Alignment]]]
last_reinforced: 2026-04-20
---

# [[Best-of-N-Sampling|Best-of-N-Sampling]] (Best-of-N 샘플링)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "열 정승보다 나은 한 명의 장군 찾기." LLM이 생성한 N개의 결과물 중, 보상 모델(Reward Model)이 가장 우수하다고 판단한 단 하나의 답변을 선택하여 품질을 극대화하는 추론 전략이다.

## 📖 구조화된 지식 (Synthesized Content)
- **Generation & Scoring**:
    - 동일한 프롬프트에 대해 정책 모델(Policy)이 여러 개의 독립된 답변을 생성하고, 이를 별도의 채점 모델(Reward)이 평가한다.
- **Inference Time Compute**:
    - 모델을 더 키우는 대신 '추론 단계의 연산량'을 늘려 성능을 향상시키는 경제적인 성능 고도화 방법(Scaling Laws for Inference).
- **Quality Control**:
    - 환각이 발생한 답변이나 안전 가이드라인을 어긴 답변을 필터링하고 가장 논리적인 결과물을 도출한다.

## ⚠️ 모순 및 업데이트 (RL Update)
- N이 커질수록 품질은 좋아지지만 코스트(비용)와 지연 시간(Latency)이 기하급수적으로 늘어난다. 따라서 서비스의 실시간성 요구도에 따라 N의 적절한 값을 정하는 것이 엔지니어링의 묘미다.

## 🔗 지식 연결 (Graph)
- Related: [[Prompt-Engineering|Prompt-Engineering]] , [[Reinforcement-Learning|Reinforcement-Learning]]-from-Human-Feedback-(RLHF)
- Metric: Reward-Model-Training