29 lines
2.2 KiB
Markdown
29 lines
2.2 KiB
Markdown
---
|
|
id: SYS-K8S-AI-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [infrastructure, kubernetes, ai-orchestration, mlops, gpu-scheduling, scalability]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Kubernetes for AI Orchestration (AI 오케스트레이션을 위한 쿠버네티스)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "서버의 군단을 코드 한 줄로 지휘하여, AI의 거대한 연산 부하를 빈틈없이 관리하라" — 컨테이너화된 AI 애플리케이션의 배포, 확장 및 관리를 자동화하고, 특히 희소 자원인 GPU를 효율적으로 할당/공유하게 해주는 분산 컴퓨팅 운영 플랫폼.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Declarative Infrastructure" — 인프라의 상태를 코드로 선언하면 시스템이 스스로 그 상태를 유지(Self-healing)하며, 동적으로 자원을 할당(Auto-scaling)하여 모델의 연산 요구량에 즉각 대응하는 자동화 패턴.
|
|
- **AI 특화 기능:**
|
|
- **GPU Scheduling:** 특정 파드(Pod)에 GPU 자원을 할당하고 모니터링.
|
|
- **Job Orchestration:** 대규모 학습 작업을 여러 노드에 분산 배치하고 완료 후 자원 회수.
|
|
- **Service Mesh:** 복잡하게 얽힌 AI 마이크로서비스 간의 통신과 보안 제어.
|
|
- **의의:** 실험실 수준의 AI 모델을 수백만 사용자가 사용하는 엔터프라이즈 급 서비스로 확장하기 위한 필수 인프라(MLOps의 핵심).
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순 웹 서비스용으로 쓰이던 단계를 넘어, 이제는 Kubeflow나 Ray와 같은 프레임워크와 결합하여 AI 워크플로우 전체를 관리하는 전용 플랫폼으로 진화.
|
|
- **정책 변화:** Antigravity 프로젝트의 클라우드 인프라는 쿠버네티스를 기반으로 설계되었으며, 에이전트의 부하가 급증할 경우 자동으로 컴퓨팅 노드를 확장하여 지연 없는 지식 서비스를 제공함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Infrastructure-as-Code-IaC]], [[DevOps-for-AI-MLOps]], System-Design-for-AI-Scale, [[High-Availability-Systems]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Kubernetes-for-AI-Orchestration.md
|