bluemsi/2nd
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links

Browse Source
This commit is contained in:
Antigravity Agent
2026-05-02 09:18:34 +09:00
parent c84dcb8371
commit 6445fcc05b
13150 changed files with 55394 additions and 100862 deletions
Download Patch File Download Diff File Expand all files Collapse all files
10_Wiki/Topics_GD/Quantization.md
+7 -7
View File
@@ -1,12 +1,12 @@
---
id: [[P-Reinforce]]-AUTO-QUAN-001
id: [[P-Reinforce|P-Reinforce]]-AUTO-QUAN-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.96
tags: [auto-reinforced, quantization, [[Deep-Learning]], performance, [[Hardware]]-[[Optimization]], llm-inference]
tags: [auto-reinforced, quantization, [[Deep-Learning|Deep-Learning]], performance, [[Hardware|Hardware]]-[[Optimization|Optimization]], llm-inference]
last_reinforced: 2026-04-20
---
# [[Quantization]]
# [[Quantization|Quantization]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "디지털 다이어트의 예술: 32비트 고정밀 실수로 저장된 거대 AI 모델의 가중치를 4비트나 8비트 정수로 압축하여, 성능은 거의 유지하면서 용량과 연산 속도를 1/10 수준으로 혁명적으로 줄여 스마트폰에서도 AI가 돌아가게 만드는 마법."
@@ -18,9 +18,9 @@ last_reinforced: 2026-04-20
* **PTQ (Post-Training Quantization)**: 학습이 끝난 모델을 변환 (빠르고 간편).
* **QAT (Quantization-Aware Training)**: 변환 시 발생할 오차를 학습 과정에서 미리 고려 (고정밀 유지).
2. **이점**:
* **Speed**: 연산 처리량(Throughput) 대폭 향상. ([[Efficiency]]와 연결)
* **Energy**: 전력 소모 감소. ([[Physical-Intelligence]]와 연결)
* **[[memory]]**: 모델 크기 축소로 저사양 하드웨어 탑재 가능.
* **Speed**: 연산 처리량(Throughput) 대폭 향상. ([[Efficiency|Efficiency]]와 연결)
* **Energy**: 전력 소모 감소. ([[Physical-Intelligence|Physical-Intelligence]]와 연결)
* **[[memory|memory]]**: 모델 크기 축소로 저사양 하드웨어 탑재 가능.
3. **왜 중요한가?**:
* AI가 서버실에만 갇혀있지 않고 우리 주머니 속 기기(On-device AI)로 내려오기 위한 필수 관문이기 때문임.
@@ -29,6 +29,6 @@ last_reinforced: 2026-04-20
- **정책 변화(RL Update)**: 단순히 비트를 줄이는 정책을 넘어, 중요한 레이어는 유지하고 덜 중요한 레이어만 양자화하는 '혼합 정밀도 양자화 정책'이 표준 정책이 됨.
## 🔗 지식 연결 (Graph)
- [[Efficiency]], [[Physical-Intelligence]], Deep Learning (DL), [[Hardware]], [[Optimization]]
- [[Efficiency|Efficiency]], [[Physical-Intelligence|Physical-Intelligence]], Deep Learning (DL), [[Hardware|Hardware]], [[Optimization|Optimization]]
- **Modern Tech/Tools**: TensorRT, GGUF (LLM), bitsandbytes, INT8/FP4 calculation.
---