feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]
This commit is contained in:
@@ -1,38 +1,25 @@
|
||||
---
|
||||
id: [[P-Reinforce|P-Reinforce]]-AUTO-MCOQ-001
|
||||
category: Unified
|
||||
confidence_score: 1.00
|
||||
tags: [auto-reinforced, quantization, compression, fp8, int4, awq, gptq, gguf]
|
||||
last_reinforced: 2026-05-04
|
||||
id: wiki-2026-0508-model-compression-quantization
|
||||
title: "Model Compression & Quantization"
|
||||
category: 10_Wiki/Topics/AI_and_ML
|
||||
status: merged
|
||||
redirect_to: LLM_Optimization_and_Deployment_Strategies
|
||||
canonical_id: LLM_Optimization_and_Deployment_Strategies
|
||||
aliases: [P-Reinforce-REDIRECT-MODEL-COMP-QUANT]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.92
|
||||
tags: [redirect]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-08
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
---
|
||||
|
||||
# [[Model Compression & Quantization|Model Compression & Quantization]]
|
||||
# [[Model Compression & Quantization]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "지능의 고농축: 모델의 가중치를 표현하는 숫자의 정밀도를 낮추어(FP16 -> INT4), 성능 저하는 최소화하면서도 메모리 사용량과 연산 속도를 획기적으로 개선하는 하이엔드 최적화 공법."
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
거대 모델을 일반 하드웨어에서 구동하거나 추론 효율성을 높이기 위해 모델의 크기를 줄이는 핵심 기술입니다.
|
||||
|
||||
1. **양자화 (Quantization)**:
|
||||
* **정의**: 가중치를 표현하는 비트 수를 줄이는 과정입니다. (예: 16비트 부동소수점 $\rightarrow$ 4비트 정수)
|
||||
* **효과**: 메모리 사용량이 약 4배 감소하며, 더 큰 모델을 더 작은 GPU에 올릴 수 있게 합니다.
|
||||
2. **주요 정밀도 포맷**:
|
||||
* **FP8**: 최신 H100/B200 GPU에서 지원하며, 속도와 정확도의 최적 균형을 제공합니다.
|
||||
* **INT4/INT8**: 전통적인 양자화 방식으로, 모바일이나 엣지 디바이스에서도 널리 쓰입니다.
|
||||
* **NF4 (NormalFloat 4)**: QLoRA에서 사용되는 특수 포맷으로, 가중치 분포에 최적화된 양자화를 제공합니다.
|
||||
3. **대표 알고리즘 & 포맷**:
|
||||
* **AWQ / GPTQ**: 추론 속도와 정확도를 모두 잡은 데이터 인식(Data-aware) 양자화 기법입니다.
|
||||
* **GGUF / EXL2**: llama.cpp 등 CPU나 로컬 환경에서 LLM을 구동하기 위해 널리 사용되는 포맷입니다.
|
||||
|
||||
## ⚖️ Trade-offs & Caveats
|
||||
* **정확도 하락 (Precision Loss)**: 비트 수를 너무 과하게 줄이면 모델의 논리 전개 능력이 떨어지거나 환각이 증가할 수 있습니다. (특히 3비트 이하에서 두드러짐)
|
||||
* **하드웨어 호환성**: FP8과 같은 최신 포맷은 구형 GPU(RTX 30 시리즈 이하)에서는 가속 효과가 미미하거나 작동하지 않을 수 있습니다.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
* **상위 개념**: [[LLM Inference Optimization|LLM Inference Optimization]]
|
||||
* **연관 기술**: [[PEFT & LoRA|PEFT & LoRA]] (QLoRA), [[Deployment Frameworks|Deployment Frameworks]]
|
||||
* **주요 툴**: bitsandbytes, AutoAWQ, llama.cpp
|
||||
> [!IMPORTANT]
|
||||
> 이 문서는 고밀도 지식 자산 통합 정책에 따라 **[[LLM_Optimization_and_Deployment_Strategies]]**으로 통합되었습니다.
|
||||
|
||||
---
|
||||
*Last updated: 2026-05-04*
|
||||
*Redirected to: [[LLM_Optimization_and_Deployment_Strategies]]*
|
||||
|
||||
Reference in New Issue
Block a user