---
id: SYS-PAR-COMP-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [infrastructure, [[Parallel-Computing|Parallel-Computing]], ai, [[Distributed-Systems|Distributed-Systems]], gpu, throughput]
last_reinforced: 2026-04-26
---

# Parallel Computing in AI (AI에서의 병렬 컴퓨팅)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "거대한 산을 삽 하나로 옮기려 하지 말고, 수천 개의 삽이 동시에 움직이는 '동시성'의 힘으로 지능의 영토를 확장하라" — 방대한 데이터와 복잡한 연산을 여러 개의 프로세서(CPU, GPU, TPU)에 분산시켜 동시에 처리함으로써 실행 시간을 획기적으로 단축하는 컴퓨팅 패러다임.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Divide and Conquer in Computation" — 독립적인 연산 단위들을 식별하여 병렬로 할당하고, 각 프로세서 사이의 데이터 동기화와 통신 오버헤드를 최소화하여 시스템 전체의 처리량(Throughput)을 선형적으로 높이는 패턴.
- **주요 병렬화 전략:**
    - **Data Parallelism:** 동일한 모델을 여러 장치에 복제하고, 서로 다른 데이터 배치를 동시에 학습한 후 기울기를 합산.
    - **Model Parallelism:** 모델 자체가 너무 커서 한 장치에 담기지 않을 때, 레이어나 파라미터를 쪼개어 여러 장치에 분산 배치.
    - **Pipeline Parallelism:** 모델의 층별 연산을 마치 공장의 컨베이어 벨트처럼 순차적/병렬적으로 처리.
- **의의:** 무어의 법칙이 한계에 다다른 시대에, 수천억 개의 파라미터를 가진 초거대 언어 모델(LLM)을 현실적인 시간 내에 학습시키고 서비스할 수 있게 만드는 현대 AI의 물리적 심장.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 단순히 장치 수가 많을수록 비례해서 빨라진다는 고정관념에서 벗어나, 장치 간 데이터 전송 속도(Interconnect)와 동기화 대기 시간으로 인한 성능 저하(Amdahl's Law)를 극복하는 '효율적 분산 아키텍처' 설계가 더 중요한 화두가 됨.
- **정책 변화:** Antigravity 프로젝트는 대규모 지식 임베딩 및 벡터 검색 인덱싱 시, 멀티 GPU 환경에서의 데이터 병렬화 기술을 적용하여 인덱싱 속도를 단일 장치 대비 8배 이상 향상시킴.

## 🔗 지식 연결 (Graph)
- [[NVIDIA-CUDA-and-AI|NVIDIA-CUDA-and-AI]], [[Hardware-Acceleration-for-AI|Hardware-Acceleration-for-AI]],[[_system|system]]-Design-for-AI-Scale, [[High-Availability-Systems|High-Availability-Systems]]
- **Raw Source:** 10_Wiki/Topics/AI/Parallel-Computing-in-AI.md