Antigravity Agent
29 lines
2.4 KiB
Markdown
29 lines
2.4 KiB
Markdown
---
|
|
id: AI-OPT-PRUNE-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, deep-learning, pruning, model-compression, optimization, inference-speedup, efficiency]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Pruning Techniques (가지치기 기법)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "모델의 지능을 훼손하지 않는 선에서 잉여로운 연결(Weights)을 과감히 도려내어, 가볍고 날렵한 '실전용 지능'으로 재탄생시켜라" — 신경망에서 출력에 미치는 영향이 적은 파라미터를 제거함으로써 성능 손실을 최소화하면서 모델의 크기와 연산량을 줄이는 모델 압축 기술.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Importance-based Sparsification and Fine-tuning" — 가중치의 크기(Magnitude)나 기울기(Gradient) 정보를 기준으로 기여도가 낮은 파라미터를 0으로 만들거나(Masking) 아예 제거하고, 남은 파라미터들을 재학습시켜 성능을 복구하는 패턴.
|
|
- **주요 분류:**
|
|
- **Unstructured Pruning:** 가중치 행렬 내 개별 요소를 무작위로 제거 (높은 압축률, 하드웨어 최적화 어려움).
|
|
- **Structured Pruning:** 필터, 채널, 혹은 레이어 전체를 통째로 제거 (연산 속도 향상에 직결).
|
|
- **Global vs Local:** 모델 전체에서 하위 n%를 고를지, 층별로 고를지의 차이.
|
|
- **의의:** 고가의 서버 없이도 모바일 기기(On-device AI)나 임베디드 시스템에서 딥러닝 모델을 실시간으로 구동할 수 있게 하는 핵심 최적화 전략.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 파라미터가 많을수록 무조건 좋다는 '거대 모델 만능론'에서 벗어나, 적절히 가지치기된 모델이 때로는 노이즈가 제거되어 더 높은 일반화 성능을 보이기도 한다는 '복권 가설(Lottery Ticket Hypothesis)'이 주목받고 있음.
|
|
- **정책 변화:** Antigravity 프로젝트는 에이전트의 로컬 실행 모듈 배포 시, 모델 크기를 1/4 이하로 줄이면서도 정확도를 유지하는 구조적 가지치기 파이프라인을 적용함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Quantization-Foundations|Quantization-Foundations]], Knowledge-Distillation-Foundations, Model-Compression-and-Deployment, [[Optimization-in-AI|Optimization-in-AI]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Pruning-Techniques.md
|