Fix: Restore unified Topics folder and reorganize specialized category folders

2026-05-02 23:25:02 +09:00
parent b71a0b82d3
commit fdfbc83535
6241 changed files with 147626 additions and 194 deletions
@@ -0,0 +1,32 @@
+---
+id: [[P-Reinforce|P-Reinforce]]-AUTO-HYPA-001
+category: Dev
+confidence_score: 0.98
+tags: [auto-reinforced, hyper[[Parameter|Parameter]]s, model-tuning, [[Optimization|Optimization]], machine-learning, learning-rate]
+last_reinforced: 2026-04-20
+---
+
+# [[Hyperparameters|Hyperparameters]]
+
+## 📌 한 줄 통찰 (The Karpathy Summary)
+> "레시피 밖의 조미료: 학습 데이터로부터 자동으로 배우는 '파라미터'와 달리, 학습을 시작하기 전 인간(혹은 상위 AI)이 직접 설정해 주어야 하는 학습의 속도, 강도, 구조를 결정하는 상위 통제 변수."
+
+## 📖 구조화된 지식 (Synthesized Content)
+하이퍼파라미터(Hyperparameters)는 기계 학습 모델의 학습 프로세스를 제어하는 설정값입니다.
+
+1.  **주요 예시**:
+    *   **Learning Rate**: 경사 하강 시 이동 거리. ([[Gradient-Descent|Gradient-Descent]]와 연결)
+    *   **Batch Size**: 한 번에 학습할 데이터 묶음의 크기.
+    *   **Number of Epochs**: 전체 데이터를 몇 번 반복해서 볼 것인가.
+    *   **[[Architecture|Architecture]] Config**: 신경망의 층(Layer) 수, 노드 수 등.
+2.  **왜 중요한가?**:
+    *   동일한 데이터와 모델이라도 하이퍼파라미터 설정에 따라 천재가 되거나 바보가 될 수도 있음. (Optimization의 성배)
+
+## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
+- **과거 데이터와의 충돌**: 과거에는 인간 전문가의 감(Experience)에 의존하는 '블랙 아트 정책'이었으나, 현대 정책은 AI가 스스로 최적의 하이퍼파라미터를 찾는 'AutoML 정책' 및 '베이지안 최적화 정책'으로 자동화됨(RL Update).
+- **정책 변화(RL Update)**: 거대 모델([[Foundation-Models|Foundation-Models]]) 시대에는 한 번의 학습 비용이 너무 커서, 작은 모델에서 최적 값을 찾은 뒤 이를 거대 모델로 확장 적용하는 '스케일링 법칙 기반 튜닝 정책'이 핵심이 됨. (Scaling-Laws와 연결)
+
+## 🔗 지식 연결 (Graph)
+- [[Optimization|Optimization]], [[Gradient-Descent|Gradient-Descent]], Scaling-Laws, [[Foundation-Models|Foundation-Models]], [[Efficiency|Efficiency]]
+- **Modern Tech/Tools**: Optuna, Ray Tune, Weights & Biases (W&B), Grid [[Search|Search]], Random Search.
+---