Incremental Learning (증분 학습)

📌 한 줄 통찰 (The Karpathy Summary)

"과거의 지혜를 잊지 않으면서, 새로운 지식을 끊임없이 흡수하여 진화하는 지능을 구축하라" — 전체 데이터를 다시 학습하지 않고, 실시간으로 유입되는 새로운 데이터를 점진적으로 반영하여 모델을 업데이트하는 머신러닝 기법.

추출된 패턴: "Streaming Intelligence" — 데이터의 흐름(Stream)을 따라 모델의 파라미터를 미세 조정하며, 새로운 지식을 추가할 때 발생하는 파괴적 망각(Catastrophic Forgetting)을 방지하는 지식 축적 패턴.
핵심 과제 및 해결책:
- Catastrophic Forgetting: 새로운 학습이 기존 가중치를 덮어씌워 과거 지식을 잃어버리는 현상. -> 정규화(Regularization)나 리플레이(Replay) 버퍼를 통해 해결.
- Plasticity vs Stability: 변화에 유연하면서도 본질적인 지식은 고수해야 하는 딜레마.
- Elastic Weight Consolidation (EWC): 중요한 과거 지식에 관련된 가중치 변화에 벌점을 부여하여 보존.
의의: 데이터 규모가 기하급수적으로 커지는 환경에서 재학습 비용을 절감하고, 최신 트렌드를 즉각 반영하는 '살아있는 모델' 운영 가능.

과거 데이터와의 충돌: 고정된 데이터셋(Static dataset) 학습이 주류였으나, 이제는 실시간으로 변화하는 도메인에 적응하는 '연속 학습(Continual Learning)'이 AI의 생존 필수 조건으로 부상함.
정책 변화: Antigravity 프로젝트는 매일 추가되는 수천 개의 새로운 위키 문서를 즉각적으로 반영하기 위해, 벡터 인덱스뿐만 아니라 경량화된 증분 학습 파이프라인을 운영 중임.

Reinforcement-Learning, Transfer-Learning-Foundations, Online-Learning-Algorithms, Generalization-in-AI
Raw Source: 10_Wiki/Topics/AI/Incremental-Learning.md