29 lines
2.3 KiB
Markdown
29 lines
2.3 KiB
Markdown
---
|
|
id: AI-INC-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, machine-learning, incremental-learning, lifelong-learning, online-learning]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Incremental Learning (증분 학습)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "과거의 지혜를 잊지 않으면서, 새로운 지식을 끊임없이 흡수하여 진화하는 지능을 구축하라" — 전체 데이터를 다시 학습하지 않고, 실시간으로 유입되는 새로운 데이터를 점진적으로 반영하여 모델을 업데이트하는 머신러닝 기법.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Streaming Intelligence" — 데이터의 흐름(Stream)을 따라 모델의 파라미터를 미세 조정하며, 새로운 지식을 추가할 때 발생하는 파괴적 망각(Catastrophic Forgetting)을 방지하는 지식 축적 패턴.
|
|
- **핵심 과제 및 해결책:**
|
|
- **Catastrophic Forgetting:** 새로운 학습이 기존 가중치를 덮어씌워 과거 지식을 잃어버리는 현상. -> 정규화(Regularization)나 리플레이(Replay) 버퍼를 통해 해결.
|
|
- **Plasticity vs Stability:** 변화에 유연하면서도 본질적인 지식은 고수해야 하는 딜레마.
|
|
- **Elastic Weight Consolidation (EWC):** 중요한 과거 지식에 관련된 가중치 변화에 벌점을 부여하여 보존.
|
|
- **의의:** 데이터 규모가 기하급수적으로 커지는 환경에서 재학습 비용을 절감하고, 최신 트렌드를 즉각 반영하는 '살아있는 모델' 운영 가능.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 고정된 데이터셋(Static dataset) 학습이 주류였으나, 이제는 실시간으로 변화하는 도메인에 적응하는 '연속 학습(Continual Learning)'이 AI의 생존 필수 조건으로 부상함.
|
|
- **정책 변화:** Antigravity 프로젝트는 매일 추가되는 수천 개의 새로운 위키 문서를 즉각적으로 반영하기 위해, 벡터 인덱스뿐만 아니라 경량화된 증분 학습 파이프라인을 운영 중임.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Reinforcement-Learning]], Transfer-Learning-Foundations, Online-Learning-Algorithms, [[Generalization-in-AI]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Incremental-Learning.md
|