---
id: P-REINFORCE-AI-DENSE-SPARSE
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.98
tags: [Neural Networks, Dense, Sparse, MoE, Efficiency]
last_reinforced: 2026-04-20
---

# Dense-vs-Sparse-Neural-Networks (밀집 vs 희소 신경망)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "모두를 깨울 것인가, 필요한 놈만 깨울 것인가." 뇌가 모든 뉴런을 동시에 쓰지 않듯이, AI도 필요한 부위만 활성화하여 거대한 지능을 가볍게 유지하는 기술이다.

## 📖 구조화된 지식 (Synthesized Content)
- **Dense Neural Networks**:
    - 모든 입력과 출력이 촘촘하게 연결된 구조. 계산량은 많지만 구현이 쉽고 소규모 모델에 적합하다.
- **Sparse Neural Networks (Pruning)**:
    - 중요하지 않은 가중치(영향력이 적은 연결)를 0으로 만들어 연산량을 줄이는 기법.
- **Mixture of Experts (MoE)**:
    - 최근 GPT-4 등 거대 모델의 핵심 기술. 모델 안에 수십 명의 '전문가'를 두고, 질문의 성격에 맞는 전문가만 골라 활성화하여 성능은 높이고 연산 비용은 낮춘다.

## ⚠️ 모순 및 업데이트 (RL Update)
- 희소 행렬 연산은 하드웨어(GPU) 가속기에서 효율적으로 처리하기가 까다로운 면이 있다. 따라서 소프트웨어적인 '희소화'와 하드웨어의 '가속 효율' 사이의 균형점을 찾는 것이 현대 AI 공학의 최대 화두다.

## 🔗 지식 연결 (Graph)
- Related: Differentiable-Programming , Deep-Reinforcement-Learning
- Foundation: [[Information Theory|Information Theory]]