2nd/10_Wiki/Topics/AI_and_ML/Pruning-Techniques.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
AI-OPT-PRUNE-001	Unified	1.0	ai Deep-Learning|Deep-Learning pruning Model-Compression|Model-Compression Optimization|Optimization inference-speedup Efficiency|Efficiency	2026-04-26

Pruning Techniques (가지치기 기법)

📌 한 줄 통찰 (The Karpathy Summary)

"모델의 지능을 훼손하지 않는 선에서 잉여로운 연결(Weights)을 과감히 도려내어, 가볍고 날렵한 '실전용 지능'으로 재탄생시켜라" — 신경망에서 출력에 미치는 영향이 적은 파라미터를 제거함으로써 성능 손실을 최소화하면서 모델의 크기와 연산량을 줄이는 모델 압축 기술.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: "Importance-based Sparsification and Fine-tuning" — 가중치의 크기(Magnitude)나 기울기(Gradient) 정보를 기준으로 기여도가 낮은 파라미터를 0으로 만들거나(Masking) 아예 제거하고, 남은 파라미터들을 재학습시켜 성능을 복구하는 패턴.
• 주요 분류:
  • Unstructured Pruning: 가중치 행렬 내 개별 요소를 무작위로 제거 (높은 압축률, 하드웨어 최적화 어려움).
  • Structured Pruning: 필터, 채널, 혹은 레이어 전체를 통째로 제거 (연산 속도 향상에 직결).
  • Global vs Local: 모델 전체에서 하위 n%를 고를지, 층별로 고를지의 차이.
• 의의: 고가의 서버 없이도 모바일 기기(On-device AI)나 임베디드 시스템에서 딥러닝 모델을 실시간으로 구동할 수 있게 하는 핵심 최적화 전략.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 파라미터가 많을수록 무조건 좋다는 '거대 모델 만능론'에서 벗어나, 적절히 가지치기된 모델이 때로는 노이즈가 제거되어 더 높은 일반화 성능을 보이기도 한다는 '복권 가설(Lottery Ticket Hypothesis)'이 주목받고 있음.
• 정책 변화: Antigravity 프로젝트는 에이전트의 로컬 실행 모듈 배포 시, 모델 크기를 1/4 이하로 줄이면서도 정확도를 유지하는 구조적 가지치기 파이프라인을 적용함.

🔗 지식 연결 (Graph)

• Quantization-Foundations, Knowledge-Distillation-Foundations, Model-Compression-and-Deployment, Optimization-in-AI
• Raw Source: 10_Wiki/Topics/AI/Pruning-Techniques.md