Antigravity Agent
30 lines
2.3 KiB
Markdown
30 lines
2.3 KiB
Markdown
---
|
|
id: DIST-COMP-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [computer-science, [[Distributed-Systems|Distributed-Systems]], [[Parallel-Computing|Parallel-Computing]], infrastructure, [[Scalability|Scalability]]]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Distributed Computing (분산 컴퓨팅)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "한 대의 거대한 컴퓨터 대신, 수만 대의 작은 컴퓨터가 하나의 목표를 위해 협력하게 하라" — 네트워크로 연결된 여러 대의 컴퓨터 자원을 활용하여, 단일 시스템으로는 처리 불가능한 대규모 연산이나 데이터를 병렬적으로 처리하는 기술 체계.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 거대한 문제를 작은 조각으로 나누어 분산된 노드에 할당하고, 각 노드의 결과물을 다시 통합(Aggregation)하여 최종 해답을 도출하는 분할 정복(Divide and Conquer) 패턴.
|
|
- **핵심 요소:**
|
|
- **Parallelism:** 데이터 병렬화(Data Parallel) 및 모델 병렬화(Model Parallel)를 통한 학습 속도 향상.
|
|
- **Concurrency Control:** 여러 노드가 동시에 데이터에 접근할 때 정합성 유지.
|
|
- **Fault Tolerance:** 일부 노드에 장애가 생겨도 전체 시스템이 중단되지 않도록 설계 (CAP 정리 참고).
|
|
- **Communication Overhead:** 노드 간 데이터를 주고받는 통신 비용을 최소화하는 것이 성능의 핵심.
|
|
- **주요 프레임워크:** Apache Spark, Ray, Horovod, Kubernetes.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순한 서버-클라이언트 구조에서, 수만 개의 GPU가 긴밀하게 동기화되어 거대 언어 모델을 학습시키는 초거대 분산 컴퓨팅 시대로 진화.
|
|
- **정책 변화:** Antigravity 프로젝트는 향후 수조 개의 지식 노드를 처리하기 위해 Ray와 같은 최신 분산 프레임워크를 기반으로 지식 가드닝 에이전트의 연산 인프라를 확장할 계획임.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Parallel-Computing|Parallel-Computing]], [[CAP-Theorem|CAP-Theorem]],[[_system|system]]-Design-for-AI-Scale, [[GPU-Architecture|GPU-Architecture]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Distributed-Computing.md
|