2nd/AI/Adaptive Compute (적응형 계산량 조절).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-ADAPT-COMP	10_Wiki/💡 Topics/AI	0.99	Adaptive Compute AI Efficiency Inference Optimization	2026-04-20

Adaptive-Compute (적응형 계산량 조절)

📌 한 줄 통찰 (The Karpathy Summary)

"쉬운 문제는 빨리 풀고, 어려운 문제는 더 고민하라." 데이터의 복잡도에 따라 신경망의 층(Layer)이나 파라미터를 유동적으로 사용하여 연산 효율을 극대화하는 지능적 최적화다.

📖 구조화된 지식 (Synthesized Content)

• Early Exit Strategies:
  • 하위 레이어에서 이미 결과가 확실할 경우, 상위 레이어 연산을 건너뛰고 정답을 출력하여 응답 속도를 높인다.
• Dynamic Gating:
  • 특정 입력값에 필요한 '전문가 신경망'만 선별적으로 활성화하여 전체 연산량을 줄이는 방식(Mixture of Experts와 궤를 같이함).
• Inference Cost Reduction:
  • 불필요한 연산을 줄임으로써 클라우드 API 호출 비용이나 온디바이스 AI의 배터리 소모를 획기적으로 절감한다.

⚠️ 모순 및 업데이트 (RL Update)

• 계산량을 줄이는 과정에서 아주 드물게 발생하는 '어려운 예외 상황(Edge case)'에서 성능이 소폭 하락할 수 있다. 따라서 성능 손실과 비용 절감 사이의 'Pareto Optimal' 지점을 찾는 것이 공학적 핵심이다.

🔗 지식 연결 (Graph)

• Related: Dense-vs-Sparse-Neural-Networks , Deep-Learning-Architecture-Patterns
• Foundation: Computational-Efficiency