Antigravity Agent
2.5 KiB
2.5 KiB
id: MLOps-DRIFT-001 category: Unified confidence_score: 1.0 tags: [mlops, model-drift, monitoring, observability, Concept-Drift, data-drift] last_reinforced: 2026-04-26
Model Drift and Monitoring (모델 드리프트와 모니터링)
📌 한 줄 통찰 (The Karpathy Summary)
"세상은 끊임없이 변하며, 오늘의 최적 모델은 내일의 구식(Legacy)이 됨을 직시하고 데이터의 변심을 실시간으로 감지하라" — 배포된 모델의 성능이 시간이 지남에 따라 저하되는 현상을 포착하고, 입력 데이터와 예측 결과의 통계적 변화를 모니터링하여 적시에 재학습(Retraining)을 수행하는 체계.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: "Continuous Observability and Feedback Loop" — 모델의 정확도뿐만 아니라 입력 데이터의 분포(Data Drift)와 예측 대상의 본질적 의미(Concept Drift) 변화를 추적하여, 모델의 유효 기한을 판단하고 자동으로 대응하는 관측 패턴.
- 주요 드리프트 유형:
- Data Drift (Covariate Shift): 입력 데이터(
P(X))의 분포가 학습 때와 달라지는 현상. (예: 새로운 사용자 층 유입) - Concept Drift: 입력과 출력 사이의 관계(
P(Y|X)) 자체가 변하는 현상. (예: 소비자 선호도 변화) - Prior Probability Shift: 정답 레이블(
P(Y))의 비율이 변하는 현상.
- Data Drift (Covariate Shift): 입력 데이터(
- 의의: AI 모델이 배포 후 방치되지 않고, 변화하는 현실 세계에 맞춰 지속적으로 신뢰성을 유지하게 만드는 MLOps의 핵심 생명 유지 장치.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 성능 지표(Accuracy 등)만 모니터링하던 방식에서, 이제는 데이터의 통계적 거리(KL Divergence 등)를 직접 측정하여 성능이 떨어지기 전에 선제적으로 경고를 보내는 방식으로 고도화됨.
- 정책 변화: Antigravity 프로젝트는 모든 지식 추출 모델에 대해 월 단위로 데이터 드리프트를 검사하며, 임계값 초과 시 자동으로 최신 원시 데이터(Raw Data)를 포함한 재학습 파이프라인을 가동함.
🔗 지식 연결 (Graph)
- Model-Deployment-Patterns, Kullback-Leibler-Divergence, Exploratory-Data-Analysis, Trustworthy-AI
- Raw Source: 10_Wiki/Topics/AI/Model-Drift-and-Monitoring.md