---
id: P-REINFORCE-AUTO-HYPA-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.98
tags: [auto-reinforced, hyperparameters, model-tuning, optimization, machine-learning, learning-rate]
last_reinforced: 2026-04-20
---

# [[Hyperparameters|Hyperparameters]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "레시피 밖의 조미료: 학습 데이터로부터 자동으로 배우는 '파라미터'와 달리, 학습을 시작하기 전 인간(혹은 상위 AI)이 직접 설정해 주어야 하는 학습의 속도, 강도, 구조를 결정하는 상위 통제 변수."

## 📖 구조화된 지식 (Synthesized Content)
하이퍼파라미터(Hyperparameters)는 기계 학습 모델의 학습 프로세스를 제어하는 설정값입니다.

1.  **주요 예시**:
    *   **Learning Rate**: 경사 하강 시 이동 거리. (Gradient-Descent와 연결)
    *   **Batch Size**: 한 번에 학습할 데이터 묶음의 크기.
    *   **Number of Epochs**: 전체 데이터를 몇 번 반복해서 볼 것인가.
    *   **Architecture Config**: 신경망의 층(Layer) 수, 노드 수 등.
2.  **왜 중요한가?**:
    *   동일한 데이터와 모델이라도 하이퍼파라미터 설정에 따라 천재가 되거나 바보가 될 수도 있음. (Optimization의 성배)

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 인간 전문가의 감(Experience)에 의존하는 '블랙 아트 정책'이었으나, 현대 정책은 AI가 스스로 최적의 하이퍼파라미터를 찾는 'AutoML 정책' 및 '베이지안 최적화 정책'으로 자동화됨(RL Update).
- **정책 변화(RL Update)**: 거대 모델(Foundation-Models) 시대에는 한 번의 학습 비용이 너무 커서, 작은 모델에서 최적 값을 찾은 뒤 이를 거대 모델로 확장 적용하는 '스케일링 법칙 기반 튜닝 정책'이 핵심이 됨. (Scaling-Laws와 연결)

## 🔗 지식 연결 (Graph)
- [[Optimization|Optimization]], [[Gradient-Descent|Gradient-Descent]], Scaling-Laws, [[Foundation-Models|Foundation-Models]], [[Efficiency|Efficiency]]
- **Modern Tech/Tools**: Optuna, Ray Tune, Weights & Biases (W&B), Grid Search, Random Search.
---