2.5 KiB
2.5 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SYS-SERVERLESS-AI-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Serverless Computing for AI (AI를 위한 서버리스 컴퓨팅)
📌 한 줄 통찰 (The Karpathy Summary)
"서버 관리의 짐을 클라우드에 넘기고 오직 '모델의 추론'에만 집중하며, 호출된 만큼만 비용을 지불하는 가장 경제적이고 유연한 지능형 인프라를 구축하라" — 인프라 구성이나 관리 없이 코드(함수) 단위로 AI 모델을 실행하고, 요청량에 따라 자원이 자동으로 할당되는 클라우드 컴퓨팅 모델.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: "Event-driven Inference and Pay-per-invocation" — 서버를 상시 가동하는 대신 특정 이벤트(API 호출, 데이터 업로드 등)가 발생할 때만 컨테이너를 띄워 AI 연산을 수행하고 즉시 자원을 반납하는 효율성 중심의 운영 패턴.
- 주요 특징 및 장점:
- No Server Management: 패치, 업데이트, 용량 계획 등 운영 부담 전무.
- Elastic Scalability: 수천 개의 동시 요청에도 자동 확장(Auto-scaling) 대응.
- Cost Efficiency: 실행 시간과 메모리 사용량에 대해서만 비용 청구.
- 한계점:
- Cold Start: 오랜만에 실행할 때 발생하는 초기 지연 시간.
- Execution Limits: 실행 시간 및 메모리 용량의 제한.
- 의의: 스타트업이나 개인 개발자가 대규모 인프라 투자 없이도 전 세계 사용자에게 AI 서비스를 안정적으로 제공할 수 있는 진입 장벽의 혁신.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 초기에는 가벼운 웹 요청 처리용으로만 여겨졌으나, 최근에는 GPU 지원 서버리스 서비스와 컨테이너 기반 서버리스(Knative 등)의 등장으로 무거운 딥러닝 모델 추론도 서버리스 환경에서 활발히 이루어지고 있음.
- 정책 변화: Antigravity 프로젝트는 에이전트의 간헐적인 데이터 전처리 및 배치 분석 작업 시, 비용 최적화를 위해 서버리스 아키텍처를 우선적으로 활용함.