Antigravity Agent
33 lines
2.2 KiB
Markdown
33 lines
2.2 KiB
Markdown
---
|
|
id: P-REINFORCE-AUTO-HYPA-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 0.98
|
|
tags: [auto-reinforced, hyperparameters, model-tuning, optimization, machine-learning, learning-rate]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Hyperparameters|Hyperparameters]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "레시피 밖의 조미료: 학습 데이터로부터 자동으로 배우는 '파라미터'와 달리, 학습을 시작하기 전 인간(혹은 상위 AI)이 직접 설정해 주어야 하는 학습의 속도, 강도, 구조를 결정하는 상위 통제 변수."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
하이퍼파라미터(Hyperparameters)는 기계 학습 모델의 학습 프로세스를 제어하는 설정값입니다.
|
|
|
|
1. **주요 예시**:
|
|
* **Learning Rate**: 경사 하강 시 이동 거리. (Gradient-Descent와 연결)
|
|
* **Batch Size**: 한 번에 학습할 데이터 묶음의 크기.
|
|
* **Number of Epochs**: 전체 데이터를 몇 번 반복해서 볼 것인가.
|
|
* **Architecture Config**: 신경망의 층(Layer) 수, 노드 수 등.
|
|
2. **왜 중요한가?**:
|
|
* 동일한 데이터와 모델이라도 하이퍼파라미터 설정에 따라 천재가 되거나 바보가 될 수도 있음. (Optimization의 성배)
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 과거에는 인간 전문가의 감(Experience)에 의존하는 '블랙 아트 정책'이었으나, 현대 정책은 AI가 스스로 최적의 하이퍼파라미터를 찾는 'AutoML 정책' 및 '베이지안 최적화 정책'으로 자동화됨(RL Update).
|
|
- **정책 변화(RL Update)**: 거대 모델(Foundation-Models) 시대에는 한 번의 학습 비용이 너무 커서, 작은 모델에서 최적 값을 찾은 뒤 이를 거대 모델로 확장 적용하는 '스케일링 법칙 기반 튜닝 정책'이 핵심이 됨. (Scaling-Laws와 연결)
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Optimization|Optimization]], [[Gradient-Descent|Gradient-Descent]], Scaling-Laws, [[Foundation-Models|Foundation-Models]], [[Efficiency|Efficiency]]
|
|
- **Modern Tech/Tools**: Optuna, Ray Tune, Weights & Biases (W&B), Grid Search, Random Search.
|
|
---
|