[G1-Sync] Manual knowledge update

This commit is contained in:
Antigravity Agent
2026-04-30 22:42:02 +09:00
parent 0bd4f19e38
commit c36c0644a1
4888 changed files with 18470 additions and 18602 deletions
+3 -3
View File
@@ -2,7 +2,7 @@
id: AI-DISTILL-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, deep-learning, knowledge-distillation, model-compression, inference-optimization]
tags: [ai, [[Deep-Learning]], knowledge-[[Distillation]], [[Model-Compression]], [[Inference-Optimization]]]
last_reinforced: 2026-04-26
---
@@ -17,10 +17,10 @@ last_reinforced: 2026-04-26
- **Teacher Model:** 풍부한 파라미터를 가진 고성능 모델.
- **Student Model:** 실전 배포를 위한 가벼운 모델.
- **Temperature (T):** 소프트맥스 결과값을 부드럽게 만들어(Softening) 스튜던트 모델이 더 풍부한 정보를 배우게 함.
- **의의:** 거대 모델의 뛰어난 일반화 능력을 유지하면서도 모바일이나 엣지 기기에서 실시간 구동 가능한 모델을 만들 수 있게 함 (예: BERT -> DistilBERT).
- **의의:** 거대 모델의 뛰어난 일반화 능력을 유지하면서도 모바일이나 엣지 기기에서 실시간 구동 가능한 모델을 만들 수 있게 함 (예: [[BERT]] -> DistilBERT).
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 단순히 모델의 크기를 줄이는(Pruning, Quantization) 하드웨어적 접근을 넘어, 모델의 '사고 방식' 자체를 최적화하여 전수하는 알고리즘적 접근으로 진화.
- **과거 데이터와의 충돌:** 단순히 모델의 크기를 줄이는(Pruning, [[Quantization]]) 하드웨어적 접근을 넘어, 모델의 '사고 방식' 자체를 최적화하여 전수하는 알고리즘적 접근으로 진화.
- **정책 변화:** Antigravity 프로젝트는 로컬 브레인용 경량 모델 제작 시, 클라우드 브레인의 거대 파라미터 모델을 티처로 삼아 지식 증류 과정을 거침으로써 소형 모델의 지능을 상향 평준화함.
## 🔗 지식 연결 (Graph)