bluemsi/2nd
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links

Browse Source
This commit is contained in:
Antigravity Agent
2026-05-02 09:18:34 +09:00
parent c84dcb8371
commit 6445fcc05b
13150 changed files with 55394 additions and 100862 deletions
Download Patch File Download Diff File Expand all files Collapse all files
10_Wiki/Topics_GD/Distillation.md
+5 -5
View File
@@ -1,12 +1,12 @@
---
id: [[P-Reinforce]]-AUTO-DIST-001
id: [[P-Reinforce|P-Reinforce]]-AUTO-DIST-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.96
tags: [auto-reinforced, distillation, model-distillation, knowledge-transfer, [[Efficiency]], edge-ai]
tags: [auto-reinforced, distillation, model-distillation, knowledge-transfer, [[Efficiency|Efficiency]], edge-ai]
last_reinforced: 2026-04-20
---
# [[Distillation]]
# [[Distillation|Distillation]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "거인의 지혜를 작은 그릇에 담기: 거대하고 무거운 AI 모델(Teacher)이 가진 복잡한 연산 결과를 가볍고 빠른 소형 모델(Student)이 모방하게 학습시켜, 성능은 유지하면서 운영 비용과 속도를 극적으로 최성화하는 지식 전수의 미학."
@@ -26,6 +26,6 @@ last_reinforced: 2026-04-20
- **정책 변화(RL Update)**: 최근에는 제자 모델이 스승 모델보다 특정 영역에서 더 뛰어난 성능을 보이는 '역전 현상 정책'이나, 여러 스승으로부터 배우는 '다중 증류 정책' 등으로 고도화됨.
## 🔗 지식 연결 (Graph)
- [[Data Distillation (데이터 증류)]], [[Optimization]], [[Efficiency]], [[Edge-Computing]], [[Technical-Architecture]]
- **Modern Tech/Tools**: Distil[[BERT]], MobileNet, TinyLlama, Ollama (Model [[Management]]).
- [[Data Distillation (데이터 증류)|Data Distillation (데이터 증류)]], [[Optimization|Optimization]], [[Efficiency|Efficiency]], [[Edge-Computing|Edge-Computing]], [[Technical-Architecture|Technical-Architecture]]
- **Modern Tech/Tools**: Distil[[BERT|BERT]], MobileNet, TinyLlama, Ollama (Model [[Management|Management]]).
---