2nd/10_Wiki/Topics/AI/Distributed-Computing.md

---
id: DIST-COMP-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 1.0
tags: [computer-science, distributed-systems, parallel-computing, infrastructure, scalability]
last_reinforced: 2026-04-26
---

# [[Distributed Computing (분산 컴퓨팅)]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "한 대의 거대한 컴퓨터 대신, 수만 대의 작은 컴퓨터가 하나의 목표를 위해 협력하게 하라" — 네트워크로 연결된 여러 대의 컴퓨터 자원을 활용하여, 단일 시스템으로는 처리 불가능한 대규모 연산이나 데이터를 병렬적으로 처리하는 기술 체계.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 거대한 문제를 작은 조각으로 나누어 분산된 노드에 할당하고, 각 노드의 결과물을 다시 통합(Aggregation)하여 최종 해답을 도출하는 분할 정복(Divide and Conquer) 패턴.
- **핵심 요소:**
    - **Parallelism:** 데이터 병렬화(Data Parallel) 및 모델 병렬화(Model Parallel)를 통한 학습 속도 향상.
    - **Concurrency Control:** 여러 노드가 동시에 데이터에 접근할 때 정합성 유지.
    - **Fault Tolerance:** 일부 노드에 장애가 생겨도 전체 시스템이 중단되지 않도록 설계 (CAP 정리 참고).
    - **Communication Overhead:** 노드 간 데이터를 주고받는 통신 비용을 최소화하는 것이 성능의 핵심.
- **주요 프레임워크:** Apache Spark, Ray, Horovod, Kubernetes.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 단순한 서버-클라이언트 구조에서, 수만 개의 GPU가 긴밀하게 동기화되어 거대 언어 모델을 학습시키는 초거대 분산 컴퓨팅 시대로 진화.
- **정책 변화:** Antigravity 프로젝트는 향후 수조 개의 지식 노드를 처리하기 위해 Ray와 같은 최신 분산 프레임워크를 기반으로 지식 가드닝 에이전트의 연산 인프라를 확장할 계획임.

## 🔗 지식 연결 (Graph)
- [[Parallel-Computing]], [[CAP-Theorem]], [[System-Design-for-AI-Scale]], [[GPU-Architecture]]
- **Raw Source:** [[10_Wiki/Topics/AI/Distributed-Computing.md]]