feat: complete wikification of War Commander batch 1&2 and final grey dot cleanup
This commit is contained in:
@@ -1,12 +1,12 @@
|
||||
---
|
||||
id: DL-NORM-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, normalization, layer-norm, transformer, stability]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Layer Normalization (레이어 정규화)]]
|
||||
# Layer Normalization (레이어 정규화)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "데이터의 무리를 비교하지 말고, 각 샘플 내부의 통계를 다듬어 모델의 학습을 안정화하라" — 배치 단위가 아닌 각 데이터 샘플(Feature) 단위로 평균과 분산을 계산하여 정규화함으로써, 배치 크기에 구애받지 않고 일관된 학습 성능을 보장하는 기법.
|
||||
@@ -24,5 +24,5 @@ last_reinforced: 2026-04-26
|
||||
- **정책 변화:** Antigravity 프로젝트의 모든 트랜스포머 기반 에이전트 모델은 학습의 안정성과 빠른 수렴을 위해 모든 어텐션 블록 직후에 레이어 정규화 층을 배치함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Transformer-Architecture-Foundations]], [[Deep-Learning-Foundations]], [[Batch-Normalization-Foundations]], [[Weight-Initialization-Strategies]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Layer-Normalization.md]]
|
||||
- Transformer-Architecture-Foundations, Deep-Learning-Foundations, Batch-Normalization-Foundations, Weight-Initialization-Strategies
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/Layer-Normalization.md
|
||||
|
||||
Reference in New Issue
Block a user