28 lines
1.6 KiB
Markdown
28 lines
1.6 KiB
Markdown
---
|
|
id: P-REINFORCE-AI-ADAPT-COMP
|
|
category: "[[10_Wiki/💡 Topics/AI]]"
|
|
confidence_score: 0.99
|
|
tags: [Adaptive Compute, AI, Efficiency, Inference, Optimization]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Adaptive-Compute]] (적응형 계산량 조절)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "쉬운 문제는 빨리 풀고, 어려운 문제는 더 고민하라." 데이터의 복잡도에 따라 신경망의 층(Layer)이나 파라미터를 유동적으로 사용하여 연산 효율을 극대화하는 지능적 최적화다.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **Early Exit Strategies**:
|
|
- 하위 레이어에서 이미 결과가 확실할 경우, 상위 레이어 연산을 건너뛰고 정답을 출력하여 응답 속도를 높인다.
|
|
- **Dynamic Gating**:
|
|
- 특정 입력값에 필요한 '전문가 신경망'만 선별적으로 활성화하여 전체 연산량을 줄이는 방식(Mixture of Experts와 궤를 같이함).
|
|
- **Inference Cost Reduction**:
|
|
- 불필요한 연산을 줄임으로써 클라우드 API 호출 비용이나 온디바이스 AI의 배터리 소모를 획기적으로 절감한다.
|
|
|
|
## ⚠️ 모순 및 업데이트 (RL Update)
|
|
- 계산량을 줄이는 과정에서 아주 드물게 발생하는 '어려운 예외 상황(Edge case)'에서 성능이 소폭 하락할 수 있다. 따라서 성능 손실과 비용 절감 사이의 'Pareto Optimal' 지점을 찾는 것이 공학적 핵심이다.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- Related: [[Dense-vs-Sparse-Neural-Networks]] , [[Deep-Learning-Architecture-Patterns]]
|
|
- Foundation: [[Computational-Efficiency]]
|