[G1-Sync] Manual knowledge update

This commit is contained in:
Antigravity Agent
2026-04-30 22:42:02 +09:00
parent 0bd4f19e38
commit c36c0644a1
4888 changed files with 18470 additions and 18602 deletions
+6 -6
View File
@@ -1,8 +1,8 @@
---
id: P-REINFORCE-AUTO-HYPA-001
id: [[P-Reinforce]]-AUTO-HYPA-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.98
tags: [auto-reinforced, hyperparameters, model-tuning, optimization, machine-learning, learning-rate]
tags: [auto-reinforced, hyper[[Parameter]]s, model-tuning, [[Optimization]], machine-learning, learning-rate]
last_reinforced: 2026-04-20
---
@@ -15,18 +15,18 @@ last_reinforced: 2026-04-20
하이퍼파라미터(Hyperparameters)는 기계 학습 모델의 학습 프로세스를 제어하는 설정값입니다.
1. **주요 예시**:
* **Learning Rate**: 경사 하강 시 이동 거리. (Gradient-Descent와 연결)
* **Learning Rate**: 경사 하강 시 이동 거리. ([[Gradient-Descent]]와 연결)
* **Batch Size**: 한 번에 학습할 데이터 묶음의 크기.
* **Number of Epochs**: 전체 데이터를 몇 번 반복해서 볼 것인가.
* **Architecture Config**: 신경망의 층(Layer) 수, 노드 수 등.
* **[[Architecture]] Config**: 신경망의 층(Layer) 수, 노드 수 등.
2. **왜 중요한가?**:
* 동일한 데이터와 모델이라도 하이퍼파라미터 설정에 따라 천재가 되거나 바보가 될 수도 있음. (Optimization의 성배)
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 인간 전문가의 감(Experience)에 의존하는 '블랙 아트 정책'이었으나, 현대 정책은 AI가 스스로 최적의 하이퍼파라미터를 찾는 'AutoML 정책' 및 '베이지안 최적화 정책'으로 자동화됨(RL Update).
- **정책 변화(RL Update)**: 거대 모델(Foundation-Models) 시대에는 한 번의 학습 비용이 너무 커서, 작은 모델에서 최적 값을 찾은 뒤 이를 거대 모델로 확장 적용하는 '스케일링 법칙 기반 튜닝 정책'이 핵심이 됨. (Scaling-Laws와 연결)
- **정책 변화(RL Update)**: 거대 모델([[Foundation-Models]]) 시대에는 한 번의 학습 비용이 너무 커서, 작은 모델에서 최적 값을 찾은 뒤 이를 거대 모델로 확장 적용하는 '스케일링 법칙 기반 튜닝 정책'이 핵심이 됨. (Scaling-Laws와 연결)
## 🔗 지식 연결 (Graph)
- [[Optimization]], [[Gradient-Descent]], Scaling-Laws, [[Foundation-Models]], [[Efficiency]]
- **Modern Tech/Tools**: Optuna, Ray Tune, Weights & Biases (W&B), Grid Search, Random Search.
- **Modern Tech/Tools**: Optuna, Ray Tune, Weights & Biases (W&B), Grid [[Search]], Random Search.
---