2.5 KiB
2.5 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SYS-DATA-WARE-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Snowflake Data Warehousing (스노우플레이크 데이터 웨어하우징)
📌 한 줄 통찰 (The Karpathy Summary)
"저장과 연산을 분리하여 무한한 확장성을 확보하고, 복잡한 인프라 관리 없이 오직 '데이터의 가치'를 캐내는 분석에만 전념하라" — 클라우드 네이티브 아키텍처를 기반으로 설계된 완전 관리형(SaaS) 데이터 웨어하우징 서비스.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: "Separation of Storage and Compute with Multi-cluster Shared Data" — 데이터를 중앙 집중식 스토리지에 저장하되, 여러 개의 가상 웨어하우스(연산 엔진)가 이를 동시에 참조하며 독립적으로 자원을 사용하고 자동 확장(Auto-scaling)하는 패턴.
- 핵심 아키텍처 3계층:
- Database Storage: 열 지향(Columnar) 방식으로 압축 저장되어 성능 최적화.
- Query Processing: 독립적인 가상 웨어하우스들이 연산 수행. 서로 간섭 없음.
- Cloud Services: 인증, 메타데이터 관리, 쿼리 최적화 등을 담당하는 뇌의 역할.
- 의의: 정형/반정형 데이터를 통합 관리하고 전 세계 어디서나 실시간으로 데이터를 공유(Data Sharing)할 수 있게 함으로써, 현대 기업의 데이터 민주화와 분석 속도를 획기적으로 향상시킴.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 초기에는 단순히 데이터 저장소로 여겨졌으나, 최근에는 'Snowpark'를 통해 파이썬, 자바 등 개발 언어로 데이터 파이프라인을 구축하고 ML 모델을 직접 실행하는 '데이터 클라우드' 플랫폼으로 진화함.
- 정책 변화: Antigravity 프로젝트는 에이전트의 대규모 지식 활용 로그 및 사용자 행동 패턴을 장기간 보관하고 대규모 배치 분석을 수행할 때, 연산 자원 관리가 용이한 스노우플레이크의 아키텍처 철학을 참고하여 분석 파이프라인을 설계함.
🔗 지식 연결 (Graph)
- Relational-Databases, NoSQL-Databases, Scalability-in-AI-Systems, Process-Automation-with-AI
- Raw Source: 10_Wiki/Topics/AI/Snowflake-Data-Warehousing.md