34 lines
2.5 KiB
Markdown
34 lines
2.5 KiB
Markdown
---
|
|
id: P-REINFORCE-AUTO-INCM-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 0.95
|
|
tags: [auto-reinforced, incremental-computation, algorithms, efficiency, dynamic-programming, synchronization, caching]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Incremental-Computation]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "바뀐 것만 다시 하기: 데이터가 조금 변했다고 전체 시스템을 처음부터 다시 계산하는 낭비를 버리고, 오직 변화된 부분(Delta)의 영향만 추적하여 업데이트함으로써 속도를 극적으로 높이는 알고리즘적 정수."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
증분 계산(Incremental-Computation)은 입력의 작은 변화에 대해 출력을 효율적으로 업데이트하는 기법입니다.
|
|
|
|
1. **핵심 메커니즘**:
|
|
* **Dependency Tracking**: 어떤 계산 정책 결과가 어떤 입력 데이터 정책에 의존 정책하는지 그래프로 관리. (DAG-Dependency-Management와 연결)
|
|
* **Memoization/Caching**: 이전 계산 정책 결과 정책을 저장 정책해 두었다가 재사용. (Efficiency와 연결)
|
|
* **Change Propagation**: 변경된 입력 정책과 연결된 노드들만 선별적으로 재계산 정책.
|
|
2. **활용 사례**:
|
|
* **Build Systems**: 수정된 파일만 다시 컴파일 (Bazel, Make).
|
|
* **Database Views**: 원본 테이블에 데이터가 추가될 때 뷰(View)를 전체 갱신하지 않고 증분 반영. (Entity-Relationship-Modeling와 연결)
|
|
* **Excel**: 특정 셀의 값을 바꿨을 때 연결된 수식들만 실시간 업데이트.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 과거에는 "전체 재계산 정책(Batch)이 구현 정책이 훨씬 쉽고 정확하다"고 생각했으나, 데이터가 기하급수적으로 늘어난 현대 정책은 증분 계산 정책 없이는 실시간 서비스 정책이 도저히 불가능함을 깨닫고 모든 현대 아키텍처 정책의 필수 요소로 도입함(RL Update).
|
|
- **정책 변화(RL Update)**: 이제는 단순 값 업데이트 정책을 넘어, AI 모델 장치 정책이 새로운 데이터 정책을 학습 정책(Live learning)할 때 전체 가중치 정책을 다시 학습 정책하지 않고 점진적으로 지식 정책을 업데이트하는 연구로 확장 중임.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[DAG-Dependency-Management]], [[Efficiency]], [[Entity-Relationship-Modeling]], [[Optimization]], Performance, [[Refinement]]
|
|
- **Key Concept**: Static vs Dynamic dependency graphs.
|
|
---
|