[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -2,98 +2,133 @@
|
||||
id: wiki-2026-0508-mixture-of-experts-moe-sparse-ar
|
||||
title: "Mixture of Experts (MoE) & Sparse Architectures"
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [P-Reinforce-AUTO-MOES-001]
|
||||
aliases: [MoE, Mixture of Experts, Sparse Transformer, Switch Transformer, Sparse MoE]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 1.0
|
||||
tags: [auto-reinforced, moe, mixture-of-experts, sparse-architecture, routing, compute-efficiency]
|
||||
confidence_score: 0.93
|
||||
verification_status: applied
|
||||
tags: [llm, transformer, moe, sparse, mixtral, deepseek, switch-transformer, expert-parallelism]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-04
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
tech_stack: { language: python, framework: pytorch|megablocks|deepspeed }
|
||||
---
|
||||
|
||||
# [[Mixture of Experts (MoE) & Sparse Architectures|Mixture of Experts (MoE) & Sparse Architectures]]
|
||||
# Mixture of Experts (MoE) & Sparse Architectures
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "지능의 분업화: 거대한 지식을 가진 수많은 전문가들을 모델 안에 배치하고, 매 순간 필요한 소수의 전문가만 활성화함으로써 모델의 크기는 키우되 연산 비용은 낮게 유지하는 경제적 지능 설계."
|
||||
> 한 줄: 매 토큰마다 N개 expert 중 top-k(보통 1-2)만 활성화 — 총 파라미터는 키우면서 추론 FLOPs는 dense 대비 작게. Mixtral·DeepSeek-V3·GPT-4·Gemini가 채택.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
MoE(Mixture of Experts)는 모델의 전체 파라미터 중 일부만 연산에 참여시키는 희소(Sparse) 모델 설계 방식입니다.
|
||||
## 핵심
|
||||
- **Sparse activation**: 8명의 expert × 2 active = 25% 활성. 총 파라미터 8× FFN, 연산은 2× FFN.
|
||||
- **Gating(router)**: token → softmax(W_g · x) → top-k expert. noisy top-k (Shazeer), expert choice (Google), DeepSeek-V3 fine-grained + shared expert.
|
||||
- **Load balancing**: aux loss (entropy/CV²) 또는 expert capacity factor — 한 expert에 쏠림 방지.
|
||||
- **모델 사례**: Mixtral 8×7B (47B 총, 13B active), Mixtral 8×22B, DeepSeek-V3 671B/37B active, Qwen2.5-MoE, Switch-T (1 expert), GShard.
|
||||
- **인프라**: expert parallelism (EP), all-to-all 통신, MegaBlocks (block-sparse GEMM), DeepSpeed-MoE, Tutel.
|
||||
|
||||
1. **핵심 원리**:
|
||||
* **Experts (전문가)**: 모델 내부의 FFN 계층을 여러 개의 독립된 '전문가' 네트워크로 나눕니다.
|
||||
* **Router (라우터)**: 입력된 토큰별로 가장 적합한 전문가(보통 상위 1~2개)를 선택하여 연산을 보냅니다.
|
||||
* **Shared Experts (공유 전문가)**: 특정 모델(예: DeepSeek)은 모든 토큰이 공통적으로 거치는 '공유 전문가'를 두어 지식의 기초를 다집니다.
|
||||
2. **주요 장점**:
|
||||
* **연산 효율성**: 전체 파라미터가 1조 개(1T)라도 추론 시에는 수십억 개만 사용하므로 속도가 빠릅니다.
|
||||
* **확장성**: 동일한 컴퓨팅 자원으로 더 방대한 지식을 담은 모델을 구축할 수 있습니다.
|
||||
3. **대표적 모델**:
|
||||
* GPT-4 (알려진 바에 따르면 MoE 아키텍처), Mixtral 8x7B, DeepSeek-V3.
|
||||
## 결정 기준
|
||||
| 상황 | MoE 적용? | 비고 |
|
||||
|---|---|---|
|
||||
| 추론 비용↓, 품질↑ | ✅ | 같은 active로 dense보다 성능↑ |
|
||||
| 단일 GPU 메모리 빠듯 | ❌ | 총 파라미터 그대로 메모리 차지 |
|
||||
| Edge / 모바일 | ❌ | dense 작은 모델·distillation |
|
||||
| 학습 안정성 우선 | ⚠️ | dense보다 튜닝 까다로움 |
|
||||
| 멀티-도메인 (코드+자연어) | ✅ | expert specialization 효과 |
|
||||
| FT만 할 거면 | dense LoRA | MoE FT는 까다로움 |
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
* **VRAM 점유**: 추론 연산은 적게 하지만, 모든 전문가의 가중치를 메모리에 올려두어야 하므로 요구되는 VRAM 용량은 모델의 전체 크기만큼 큽니다.
|
||||
* **전문가 붕괴 (Expert Collapse)**: 라우터가 특정 전문가에게만 일을 몰아주어 나머지 전문가들이 학습되지 않는 현상이 발생할 수 있습니다. 이를 방지하기 위한 부하 분산(Load Balancing) 기술이 필수적입니다.
|
||||
* **배포 복잡성**: 전문가들을 여러 GPU에 분산 배치하고 동기화하는 과정이 일반 모델보다 훨씬 까다롭습니다.
|
||||
## 💻 패턴
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
* **기반 구조**: [[Transformer Architecture|Transformer Architecture]]
|
||||
* **연관 기술**: [[Routing Mechanism|Routing Mechanism]], [[Sparse Attention|Sparse Attention]]
|
||||
* **경쟁 구조**: Dense Models (Llama 3 등)
|
||||
### Top-k gating (PyTorch sketch)
|
||||
```python
|
||||
import torch, torch.nn as nn, torch.nn.functional as F
|
||||
|
||||
---
|
||||
*Last updated: 2026-05-04*
|
||||
class MoELayer(nn.Module):
|
||||
def __init__(self, d, n_experts=8, k=2, ffn_hidden=4*1024):
|
||||
super().__init__()
|
||||
self.k = k
|
||||
self.gate = nn.Linear(d, n_experts, bias=False)
|
||||
self.experts = nn.ModuleList([
|
||||
nn.Sequential(nn.Linear(d, ffn_hidden), nn.SiLU(), nn.Linear(ffn_hidden, d))
|
||||
for _ in range(n_experts)])
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
|
||||
```text
|
||||
# TODO
|
||||
def forward(self, x): # x: (B, T, D)
|
||||
logits = self.gate(x) # (B, T, E)
|
||||
topk_v, topk_i = logits.topk(self.k, dim=-1)
|
||||
weights = F.softmax(topk_v, dim=-1) # (B, T, k)
|
||||
out = torch.zeros_like(x)
|
||||
for slot in range(self.k):
|
||||
idx = topk_i[..., slot]
|
||||
w = weights[..., slot].unsqueeze(-1)
|
||||
for e in range(len(self.experts)):
|
||||
mask = (idx == e)
|
||||
if mask.any():
|
||||
out[mask] += w[mask] * self.experts[e](x[mask])
|
||||
return out
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### Load balancing aux loss
|
||||
```python
|
||||
def load_balance_loss(gate_logits, topk_idx, n_experts):
|
||||
# f_i = fraction of tokens routed to expert i
|
||||
# P_i = mean gating prob for expert i
|
||||
probs = gate_logits.softmax(-1)
|
||||
P = probs.mean(dim=(0,1)) # (E,)
|
||||
one_hot = F.one_hot(topk_idx, n_experts).float()
|
||||
f = one_hot.sum(dim=(0,1,2)) / one_hot.sum() # (E,)
|
||||
return n_experts * (f * P).sum() # Switch-T loss
|
||||
```
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
### Mixtral 추론 (Hugging Face)
|
||||
```python
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
m = AutoModelForCausalLM.from_pretrained(
|
||||
"mistralai/Mixtral-8x7B-Instruct-v0.1",
|
||||
torch_dtype="auto", device_map="auto", load_in_4bit=True)
|
||||
tok = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")
|
||||
out = m.generate(**tok("Hi", return_tensors="pt").to(m.device), max_new_tokens=200)
|
||||
```
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
### vLLM으로 MoE 서빙
|
||||
```bash
|
||||
vllm serve mistralai/Mixtral-8x7B-Instruct-v0.1 \
|
||||
--tensor-parallel-size 4 --enable-expert-parallel \
|
||||
--quantization awq --gpu-memory-utilization 0.9
|
||||
```
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
### Expert capacity (overflow drop)
|
||||
```python
|
||||
capacity = int(capacity_factor * tokens_per_batch / n_experts)
|
||||
# 각 expert 처리량 ≤ capacity. 초과 토큰 drop or fallback.
|
||||
```
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
### DeepSeek-V3 스타일 shared + routed
|
||||
```python
|
||||
out = shared_expert(x) + sum(top_k_routed(x, experts, gate, k=8))
|
||||
# 공통 지식은 shared, specialization은 routed
|
||||
```
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
## 🔗 Graph
|
||||
- 상위: [[LLM-Architectures]] · [[Transformer]] · [[Sparse-Models]]
|
||||
- 관련: [[Mixtral]] · [[DeepSeek-V3]] · [[Switch-Transformer]] · [[GShard]] · [[Expert-Parallelism]] · [[MegaBlocks]] · [[DeepSpeed-MoE]] · [[vLLM]]
|
||||
- 비교: [[Dense-Transformer]] · [[Quantization]] · [[Mixture-of-Depths]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
- 모델 선택 의사결정: "8B dense vs 8×3B MoE 중 어느 게 우리 throughput·메모리에 맞나" — 표 기반 비교.
|
||||
- expert 라벨 분석: 각 expert가 어떤 토큰에 자주 활성화되는지 LLM에 줘 해석.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **load balance loss 생략** — 1-2 expert 독식 → 나머지 유휴, 성능 저하.
|
||||
- **메모리 산정 시 active만 계산** — 총 파라미터 다 메모리 적재(추론 시), VRAM OOM.
|
||||
- **batch size 1 추론** — all-to-all 통신 오버헤드 비효율. batched serving (vLLM) 권장.
|
||||
- **MoE에 표준 LoRA 그대로** — gating·expert 둘 다 고려 필요. MoE 전용 PEFT (e.g., MoLE).
|
||||
- **expert 너무 잘게 (32+)** — 통신 비용 폭증. Mixtral 8 / DeepSeek 256 fine-grained는 인프라 받쳐줘야.
|
||||
- **Switch (k=1) 학습 불안정 무시** — z-loss·router noise·warmup 필수.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- 중복: [[Mixtral]], [[DeepSeek-V3]], [[Switch-Transformer]] 별도 — 본 문서는 개념 허브.
|
||||
- 검증: 라우팅 분포 (expert별 token %) plot · MMLU/GSM8K 등 dense 동급 active 모델과 비교.
|
||||
|
||||
## 🕓 Changelog
|
||||
- 2026-05-08 | Phase 1 — 자동 시드.
|
||||
- 2026-05-10 | Manual cleanup — top-k gating·load balance·Mixtral·DeepSeek-V3·vLLM 패턴, 결정 기준·안티패턴 정리.
|
||||
|
||||
Reference in New Issue
Block a user