feat: complete wikification of War Commander batch 1&2 and final grey dot cleanup
This commit is contained in:
@@ -1,12 +1,12 @@
|
||||
---
|
||||
id: DL-ACT-RELU-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, activation-function, relu, vanishing-gradient, neural-networks, optimization]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[ReLU Activation Functions (ReLU 활성화 함수)]]
|
||||
# ReLU Activation Functions (ReLU 활성화 함수)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "0보다 작으면 과감히 버리고, 0보다 크면 그대로 통과시켜 신경망의 '기울기 소실'이라는 동맥경화를 치료하라" — 딥러닝에서 가장 널리 쓰이는 비선형 활성화 함수로, 연산의 단순함과 학습의 효율성을 동시에 잡아 현대 신경망의 깊이를 가능케 한 핵심 도구.
|
||||
@@ -24,5 +24,5 @@ last_reinforced: 2026-04-26
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 내부 추론 신경망 설계 시, 학습 속도와 안정성의 균형을 위해 기본적으로 ReLU 혹은 그 변형인 GeLU를 활성화 함수로 채택함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Deep-Learning-Foundations]], [[Backpropagation-Foundations]], [[Optimization-in-AI]], [[Neural-Architecture-Design]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/ReLU-Activation-Functions.md]]
|
||||
- Deep-Learning-Foundations, Backpropagation-Foundations, [[Optimization-in-AI]], Neural-Architecture-Design
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/ReLU-Activation-Functions.md
|
||||
|
||||
Reference in New Issue
Block a user