Antigravity Agent
2.3 KiB
2.3 KiB
id: P-Reinforce-AUTO-HYPA-001 category: Unified confidence_score: 0.98 tags: [auto-reinforced, hyperParameters, model-tuning, Optimization, machine-learning, learning-rate] last_reinforced: 2026-04-20
Hyperparameters
📌 한 줄 통찰 (The Karpathy Summary)
"레시피 밖의 조미료: 학습 데이터로부터 자동으로 배우는 '파라미터'와 달리, 학습을 시작하기 전 인간(혹은 상위 AI)이 직접 설정해 주어야 하는 학습의 속도, 강도, 구조를 결정하는 상위 통제 변수."
📖 구조화된 지식 (Synthesized Content)
하이퍼파라미터(Hyperparameters)는 기계 학습 모델의 학습 프로세스를 제어하는 설정값입니다.
- 주요 예시:
- Learning Rate: 경사 하강 시 이동 거리. (Gradient-Descent와 연결)
- Batch Size: 한 번에 학습할 데이터 묶음의 크기.
- Number of Epochs: 전체 데이터를 몇 번 반복해서 볼 것인가.
- Architecture Config: 신경망의 층(Layer) 수, 노드 수 등.
- 왜 중요한가?:
- 동일한 데이터와 모델이라도 하이퍼파라미터 설정에 따라 천재가 되거나 바보가 될 수도 있음. (Optimization의 성배)
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 과거에는 인간 전문가의 감(Experience)에 의존하는 '블랙 아트 정책'이었으나, 현대 정책은 AI가 스스로 최적의 하이퍼파라미터를 찾는 'AutoML 정책' 및 '베이지안 최적화 정책'으로 자동화됨(RL Update).
- 정책 변화(RL Update): 거대 모델(Foundation-Models) 시대에는 한 번의 학습 비용이 너무 커서, 작은 모델에서 최적 값을 찾은 뒤 이를 거대 모델로 확장 적용하는 '스케일링 법칙 기반 튜닝 정책'이 핵심이 됨. (Scaling-Laws와 연결)
🔗 지식 연결 (Graph)
- Optimization, Gradient-Descent, Scaling-Laws, Foundation-Models, Efficiency
- Modern Tech/Tools: Optuna, Ray Tune, Weights & Biases (W&B), Grid Search, Random Search.