---
id: P-REINFORCE-AI-BESTN
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.98
tags: [LLM, Sampling, Best-of-N, Search, Generation]
last_reinforced: 2026-04-20
---

# [[Best-of-N-Sampling]] (베스트 오브 N 샘플링)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "열 번 찍어 안 넘어가는 나무 없다." AI에게 N번 시도하게 하고, 그중 가장 '정답에 가까운' 결과물을 보상 모델(Reward Model)로 골라내는 필승 전략이다.

## 📖 구조화된 지식 (Synthesized Content)
- **추론 시간 연산 (Inference-time Compute)**:
    - 모델의 크기를 키우는 대신, 추론 시점에 더 많은 계산을 수행하여 답변의 품질을 높이는 기법. 최근 OpenAI o1 등 추론 모델의 핵심 원리 중 하나다.
- **Reward Modeling (RM)**:
    - N개의 답변 중 어떤 것이 가장 좋은지 판별하는 별도의 '감별사 AI'를 투입한다. 인간의 선호도(RLHF)를 반영한 RM이 최종 선택을 담당한다.
- **Majority Voting vs Selection**:
    - 수학 문제라면 답변들 중 가장 많이 나온 값(Majority Vote)을 택하고, 창의적 답변이라면 RM 스코어가 가장 높은 것을 택한다.

## ⚠️ 모순 및 업데이트 (RL Update)
- N이 클수록 품질은 올라가지만 비용과 응답 지연 시간(Latency)이 기하급수적으로 늘어난다. 실시간 서비스에서는 N=3~5 수준의 타협점이 요구되며, 최근에는 자가 수정(Self-correction) 능력을 키우는 쪽으로 연구가 이동 중이다.

## 🔗 지식 연결 (Graph)
- Related: Reinforcement Learning , AI 모델 평가
- Context: [[Information Theory]]