2nd/10_Wiki/Topics/AI/Dense vs Sparse Neural Networks.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-DENSE-SPARSE	10_Wiki/💡 Topics/AI	0.98	Neural Networks Dense Sparse MoE Efficiency	2026-04-20

Dense-vs-Sparse-Neural-Networks (밀집 vs 희소 신경망)

📌 한 줄 통찰 (The Karpathy Summary)

"모두를 깨울 것인가, 필요한 놈만 깨울 것인가." 뇌가 모든 뉴런을 동시에 쓰지 않듯이, AI도 필요한 부위만 활성화하여 거대한 지능을 가볍게 유지하는 기술이다.

📖 구조화된 지식 (Synthesized Content)

• Dense Neural Networks:
  • 모든 입력과 출력이 촘촘하게 연결된 구조. 계산량은 많지만 구현이 쉽고 소규모 모델에 적합하다.
• Sparse Neural Networks (Pruning):
  • 중요하지 않은 가중치(영향력이 적은 연결)를 0으로 만들어 연산량을 줄이는 기법.
• Mixture of Experts (MoE):
  • 최근 GPT-4 등 거대 모델의 핵심 기술. 모델 안에 수십 명의 '전문가'를 두고, 질문의 성격에 맞는 전문가만 골라 활성화하여 성능은 높이고 연산 비용은 낮춘다.

⚠️ 모순 및 업데이트 (RL Update)

• 희소 행렬 연산은 하드웨어(GPU) 가속기에서 효율적으로 처리하기가 까다로운 면이 있다. 따라서 소프트웨어적인 '희소화'와 하드웨어의 '가속 효율' 사이의 균형점을 찾는 것이 현대 AI 공학의 최대 화두다.

🔗 지식 연결 (Graph)

• Related: Differentiable-Programming , Deep-Reinforcement-Learning
• Foundation: Information Theory