feat: complete wikification of War Commander batch 1&2 and final grey dot cleanup
This commit is contained in:
@@ -1,12 +1,12 @@
|
||||
---
|
||||
id: DL-ACT-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, activation-function, leaky-relu, relu, neural-networks]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Leaky ReLU and Activations (Leaky ReLU와 활성화 함수)]]
|
||||
# Leaky ReLU and Activations (Leaky ReLU와 활성화 함수)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "완벽한 차단(Zero)보다 미세한 가능성(Small Slope)을 남겨, 잠든 뉴런을 깨우고 학습의 흐름을 유지하라" — 음수 입력에 대해 0을 출력하는 ReLU의 한계를 극복하기 위해, 아주 작은 기울기를 허용하여 정보 손실을 막고 기울기 소실 문제를 완화하는 활성화 함수.
|
||||
@@ -25,5 +25,5 @@ last_reinforced: 2026-04-26
|
||||
- **정책 변화:** Antigravity 프로젝트는 커스텀 신경망 설계 시 기본 활성화 함수로 Leaky ReLU 또는 GELU를 사용하여 모델의 수렴 속도와 성능을 동시에 관리함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Deep-Learning-Foundations]], [[Backpropagation-Foundations]], [[Weight-Initialization-Strategies]], [[Transformer-Architecture-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Leaky-ReLU-and-Activations.md]]
|
||||
- Deep-Learning-Foundations, Backpropagation-Foundations, Weight-Initialization-Strategies, Transformer-Architecture-Foundations
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/Leaky-ReLU-and-Activations.md
|
||||
|
||||
Reference in New Issue
Block a user