2nd/10_Wiki/Topics/AI/Inference-Optimization.md

---
id: AI-INF-OPT-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 1.0
tags: [ai, deep-learning, inference, optimization, quantization, model-serving]
last_reinforced: 2026-04-26
---

# [[Inference Optimization (추론 최적화)]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "모델의 지능은 유지하되, 실행 비용과 지연 시간(Latency)은 극한으로 깎아내어 실전 배치 능력을 확보하라" — 학습된 모델을 실제 서비스 환경에서 더 빠르고 가볍게 구동하기 위해 모델 구조와 연산 방식을 최적화하는 기술.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Lightweight Intelligence" — 모델의 파라미터 중 중요도가 낮은 부분을 제거하거나 정밀도를 낮추어, 하드웨어 자원을 덜 쓰면서도 유사한 성능을 내게 하는 효율성 극대화 패턴.
- **주요 최적화 기법:**
    - **Quantization (양자화):** FP32 가중치를 INT8 등으로 변환하여 메모리 사용량과 연산 속도 개선.
    - **Pruning (가지치기):** 성능에 영향이 적은 뉴런이나 연결(Weights)을 제거하여 모델 경량화.
    - **Knowledge Distillation (지식 증류):** 거대 모델(Teacher)의 지식을 작은 모델(Student)에게 전수.
    - **Operator Fusion:** 여러 연산을 하나로 합쳐 메모리 접근 횟수 감소.
    - **Caching:** 트랜스포머의 KV Cache 등 반복 연산 결과 재사용.
- **의의:** AI 모델이 연구실을 넘어 모바일 기기나 실시간 응답이 필요한 대규모 서비스에 적용될 수 있게 하는 핵심 동력.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 모델이 클수록 무조건 좋다는 믿음에서 벗어나, 이제는 주어진 자원(Budget) 내에서 최적의 성능을 내는 '비율 효율적 지능'이 산업계의 표준으로 자리 잡음.
- **정책 변화:** Antigravity 프로젝트는 로컬 브레인 구동 시 가용 VRAM 용량에 따라 모델을 4-bit 또는 8-bit로 동적 양자화하여, 저사양 기기에서도 초저지연 응답을 보장함.

## 🔗 지식 연결 (Graph)
- [[Hardware-Acceleration-for-AI]], [[GPU-Architecture-for-AI]], [[System-Design-for-AI-Scale]], [[LLM]]
- **Raw Source:** [[10_Wiki/Topics/AI/Inference-Optimization.md]]