---
id: P-REINFORCE-AI-ADAPT-COMP
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 0.99
tags: [Adaptive Compute, AI, Efficiency, Inference, Optimization]
last_reinforced: 2026-04-20
---

# [[Adaptive-Compute]] (적응형 계산량 조절)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "쉬운 문제는 빨리 풀고, 어려운 문제는 더 고민하라." 데이터의 복잡도에 따라 신경망의 층(Layer)이나 파라미터를 유동적으로 사용하여 연산 효율을 극대화하는 지능적 최적화다.

## 📖 구조화된 지식 (Synthesized Content)
- **Early Exit Strategies**:
    - 하위 레이어에서 이미 결과가 확실할 경우, 상위 레이어 연산을 건너뛰고 정답을 출력하여 응답 속도를 높인다.
- **Dynamic Gating**:
    - 특정 입력값에 필요한 '전문가 신경망'만 선별적으로 활성화하여 전체 연산량을 줄이는 방식(Mixture of Experts와 궤를 같이함).
- **Inference Cost Reduction**:
    - 불필요한 연산을 줄임으로써 클라우드 API 호출 비용이나 온디바이스 AI의 배터리 소모를 획기적으로 절감한다.

## ⚠️ 모순 및 업데이트 (RL Update)
- 계산량을 줄이는 과정에서 아주 드물게 발생하는 '어려운 예외 상황(Edge case)'에서 성능이 소폭 하락할 수 있다. 따라서 성능 손실과 비용 절감 사이의 'Pareto Optimal' 지점을 찾는 것이 공학적 핵심이다.

## 🔗 지식 연결 (Graph)
- Related: [[Dense-vs-Sparse-Neural-Networks]] , [[Deep-Learning-Architecture-Patterns]]
- Foundation: [[Computational-Efficiency]]