29 lines
2.5 KiB
Markdown
29 lines
2.5 KiB
Markdown
---
|
|
id: ML-ONLINE-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [machine-learning, online-learning, streaming-data, incremental-learning, real-time-ai, mlops]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Online Learning and Streaming (온라인 학습과 스트리밍)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "데이터의 유효기간이 지나기 전에 학습하고, 멈추지 않는 정보의 강물(Stream) 위에서 지능을 실시간으로 진화시켜라" — 대규모 데이터를 한꺼번에 처리하는 대신, 순차적으로 들어오는 데이터 샘플이나 미니 배치를 즉시 모델에 반영하여 최신 상태를 유지하는 학습 패러다임.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Sequential Update and Concept Drift Adaptation" — 모델 전체를 다시 학습시키는 비용을 들이지 않고, 새로운 데이터가 들어올 때마다 가중치를 조금씩 수정(Incremental Update)함으로써 급변하는 데이터 분포(Concept Drift)에 즉각적으로 대응하는 패턴.
|
|
- **핵심 기술:**
|
|
- **Stochastic Gradient Descent (SGD):** 한 번에 하나의 샘플로 가중치를 업데이트하는 온라인 학습의 기본 최적화 도구.
|
|
- **Sliding Window:** 최신 데이터에 더 높은 비중을 두고 과거 데이터를 점진적으로 망각.
|
|
- **Stream Processing (Kafka, Flink):** 대규모 데이터 스트림을 저지연으로 수집하고 처리하는 인프라.
|
|
- **의의:** 서버 자원이 한정적이거나 데이터가 너무 커서 전체를 저장할 수 없는 경우, 그리고 실시간 추천이나 이상 탐지처럼 '지금 당장'의 판단이 중요한 분야의 필수 기술.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 온라인 학습은 데이터 노이즈에 너무 민감하게 반응하여 학습이 요동칠 수 있다는 문제가 있었으나, 최근에는 안정적인 모멘텀 기법과 모델 평균화(Model Averaging)를 통해 실전에서도 높은 견고함을 확보함.
|
|
- **정책 변화:** Antigravity 프로젝트는 에이전트의 사용자 개인화 프로필 업데이트 시, 전체 재학습 대신 온라인 학습 기법을 적용하여 사용자의 최신 선호도를 즉각 반영함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Model-Drift-and-Monitoring]], [[Incremental-Learning]], [[Message-Queues-and-Event-Streams]], Real-time-Data-Processing
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Online-Learning-and-Streaming.md
|