feat: complete wikification of War Commander batch 1&2 and final grey dot cleanup
This commit is contained in:
@@ -1,12 +1,12 @@
|
||||
---
|
||||
id: DL-OPT-MOM-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, optimization, momentum, gradient-descent, adam]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Momentum and Optimization (모멘텀과 최적화)]]
|
||||
# Momentum and Optimization (모멘텀과 최적화)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "기울기의 관성(Velocity)을 이용하여 평탄한 길은 빠르게 주파하고, 웅덩이(Local Minima)는 과감하게 뛰어넘어라" — 경사 하강법에 물리적인 '운동량' 개념을 도입하여, 이전 업데이트의 방향과 속도를 현재 학습에 반영함으로써 수렴 속도를 높이고 최적화의 안정성을 확보하는 기법.
|
||||
@@ -24,5 +24,5 @@ last_reinforced: 2026-04-26
|
||||
- **정책 변화:** Antigravity 프로젝트는 거대 언어 모델의 가중치 업데이트 시, 안정적인 수렴과 일반화 성능을 극대화하기 위해 AdamW(가중치 감쇠가 포함된 Adam)와 적절한 모멘텀 계수(0.9)를 기본값으로 사용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Gradient-Descent-Foundations]], [[Hyperparameter-Optimization]], [[Global-vs-Local-Optima]], [[Deep-Learning-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Momentum-and-Optimization.md]]
|
||||
- Gradient-Descent-Foundations, [[Hyperparameter-Optimization]], [[Global-vs-Local-Optima]], Deep-Learning-Foundations
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/Momentum-and-Optimization.md
|
||||
|
||||
Reference in New Issue
Block a user