feat: complete wikification of War Commander batch 1&2 and final grey dot cleanup

This commit is contained in:
2026-04-27 18:58:22 +09:00
parent 3424166ea2
commit 6b86b0da4c
2706 changed files with 9074 additions and 7273 deletions
@@ -1,12 +1,12 @@
---
id: DL-ACT-001
category: "[[10_Wiki/💡 Topics/AI]]"
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, deep-learning, activation-function, leaky-relu, relu, neural-networks]
last_reinforced: 2026-04-26
---
# [[Leaky ReLU and Activations (Leaky ReLU와 활성화 함수)]]
# Leaky ReLU and Activations (Leaky ReLU와 활성화 함수)
## 📌 한 줄 통찰 (The Karpathy Summary)
> "완벽한 차단(Zero)보다 미세한 가능성(Small Slope)을 남겨, 잠든 뉴런을 깨우고 학습의 흐름을 유지하라" — 음수 입력에 대해 0을 출력하는 ReLU의 한계를 극복하기 위해, 아주 작은 기울기를 허용하여 정보 손실을 막고 기울기 소실 문제를 완화하는 활성화 함수.
@@ -25,5 +25,5 @@ last_reinforced: 2026-04-26
- **정책 변화:** Antigravity 프로젝트는 커스텀 신경망 설계 시 기본 활성화 함수로 Leaky ReLU 또는 GELU를 사용하여 모델의 수렴 속도와 성능을 동시에 관리함.
## 🔗 지식 연결 (Graph)
- [[Deep-Learning-Foundations]], [[Backpropagation-Foundations]], [[Weight-Initialization-Strategies]], [[Transformer-Architecture-Foundations]]
- **Raw Source:** [[10_Wiki/Topics/AI/Leaky-ReLU-and-Activations.md]]
- Deep-Learning-Foundations, Backpropagation-Foundations, Weight-Initialization-Strategies, Transformer-Architecture-Foundations
- **Raw Source:** 10_Wiki/Topics/AI/Leaky-ReLU-and-Activations.md