Distributed Computing (분산 컴퓨팅)

📌 한 줄 통찰 (The Karpathy Summary)

"한 대의 거대한 컴퓨터 대신, 수만 대의 작은 컴퓨터가 하나의 목표를 위해 협력하게 하라" — 네트워크로 연결된 여러 대의 컴퓨터 자원을 활용하여, 단일 시스템으로는 처리 불가능한 대규모 연산이나 데이터를 병렬적으로 처리하는 기술 체계.

추출된 패턴: 거대한 문제를 작은 조각으로 나누어 분산된 노드에 할당하고, 각 노드의 결과물을 다시 통합(Aggregation)하여 최종 해답을 도출하는 분할 정복(Divide and Conquer) 패턴.
핵심 요소:
- Parallelism: 데이터 병렬화(Data Parallel) 및 모델 병렬화(Model Parallel)를 통한 학습 속도 향상.
- Concurrency Control: 여러 노드가 동시에 데이터에 접근할 때 정합성 유지.
- Fault Tolerance: 일부 노드에 장애가 생겨도 전체 시스템이 중단되지 않도록 설계 (CAP 정리 참고).
- Communication Overhead: 노드 간 데이터를 주고받는 통신 비용을 최소화하는 것이 성능의 핵심.
주요 프레임워크: Apache Spark, Ray, Horovod, Kubernetes.

과거 데이터와의 충돌: 단순한 서버-클라이언트 구조에서, 수만 개의 GPU가 긴밀하게 동기화되어 거대 언어 모델을 학습시키는 초거대 분산 컴퓨팅 시대로 진화.
정책 변화: Antigravity 프로젝트는 향후 수조 개의 지식 노드를 처리하기 위해 Ray와 같은 최신 분산 프레임워크를 기반으로 지식 가드닝 에이전트의 연산 인프라를 확장할 계획임.