Model Deployment Patterns (모델 배포 패턴)

📌 한 줄 통찰 (The Karpathy Summary)

"모델의 교체가 서비스의 중단이 아닌 '자연스러운 진화'가 되도록, 안전하고 탄력적인 배포 관문을 설계하라" — 머신러닝 모델을 프로덕션 환경에 적용할 때 리스크를 최소화하고 안정적인 전환을 보장하기 위한 아키텍처 패턴.

추출된 패턴: "Staged Transition and Risk Isolation" — 신규 모델을 즉시 전체 적용하는 대신, 트래픽을 단계적으로 제어하거나 병렬 환경에서 검증함으로써 배포 후 발생할 수 있는 성능 저하나 예외 상황으로부터 시스템을 보호하는 배포 패턴.
주요 패턴:
- Canary Deployment: 소수의 사용자(예: 5%)에게 먼저 신규 모델을 노출하여 지표 확인 후 점진적 확대.
- Blue-Green Deployment: 구버전(Blue)과 신버전(Green) 환경을 동시에 띄워두고 로드 밸런서를 통해 한 번에 스위칭.
- Shadow Deployment: 신규 모델이 실제 트래픽을 받지만 응답은 반환하지 않고, 로그만 남겨 성능을 비교 검증.
- A/B Testing: 두 모델의 성능을 통계적으로 비교하여 비즈니스 지표에 더 유리한 모델 선택.
의의: 빈번한 모델 업데이트가 필요한 현대 AI 서비스에서 시스템 안정성을 해치지 않고 지속적인 개선(CI/CD)을 가능케 함.

과거 데이터와의 충돌: 단순히 파일을 교체하는 정적 배포에서, 이제는 데이터와 모델, 코드가 유기적으로 맞물려 배포되는 '파이프라인 중심 배포'로 패러다임이 전이됨.
정책 변화: Antigravity 프로젝트는 에이전트의 핵심 추론 모델 업데이트 시, Shadow Deployment 패턴을 통해 기존 응답과의 일관성을 48시간 이상 검증하는 것을 표준 절차로 삼음.