bluemsi/2nd
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links

Browse Source
This commit is contained in:
Antigravity Agent
2026-05-02 09:18:34 +09:00
parent c84dcb8371
commit 6445fcc05b
13150 changed files with 55394 additions and 100862 deletions
Download Patch File Download Diff File Expand all files Collapse all files
10_Wiki/Topics_Blog/Data Distillation (데이터 증류).md
+2 -2
View File
@@ -6,7 +6,7 @@ tags: [auto-reinforced, data-distillation, machine-learning, model-compression,
last_reinforced: 2026-04-20
---
# [[Data Distillation (데이터 증류)]]
# [[Data Distillation (데이터 증류)|Data Distillation (데이터 증류)]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "데이터의 에스프레소 추출: 1,000개의 이미지로 공부해야 할 지식을 단 10개의 '증류된 이미지'에 함축함으로써, 손바닥만 한 데이터셋만으로도 거대한 모델을 가르칠 수 있게 만드는 고밀도 정보 압축의 기술."
@@ -27,6 +27,6 @@ last_reinforced: 2026-04-20
- **정책 변화(RL Update)**: 최근에는 LLM을 이용해 고품질의 합성 데이터를 생성하고 이를 다시 소형 모델 학습에 사용하는 '자기 증류(Self-distillation) 정책'이 소형 모델(sLLM) 전략의 핵심 정책이 됨.
## 🔗 지식 연결 (Graph)
- [[Big-Data]], [[Optimization]], [[Efficiency]], [[Model-Compression]], [[CV_Synthesis]]
- [[Big-Data|Big-Data]], [[Optimization|Optimization]], [[Efficiency|Efficiency]], [[Model-Compression|Model-Compression]], [[CV_Synthesis|CV_Synthesis]]
- **Modern Tech/Tools**: Dataset Distillation techniques (Matching Gradients), Synthetic datasets.
---