---
id: PARALLEL-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [computer-science, high-performance-computing, gpu, distributed-systems]
last_reinforced: 2026-04-26
---

# Parallel Computing (병렬 컴퓨팅)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "동시에 여러 일을 처리하여 시간의 장벽을 넘어서라" — 하나의 커다란 문제를 여러 개의 작은 문제로 나누어 여러 프로세서가 동시에 계산하게 함으로써 연산 속도를 비약적으로 향상시키는 기법.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 연산 독립성이 있는 작업들을 식별하여 물리적으로 분리된 여러 연산 장치(CPU 코어, GPU)에 할당하고 동시에 실행하는 처리 패턴.
- **세부 내용:**
    - **Data Parallelism:** 데이터를 쪼개어 여러 프로세서가 동일한 연산을 수행 (예: 행렬 곱셈).
    - **Task Parallelism:** 서로 다른 작업을 여러 프로세서가 나누어 수행.
    - **Shared vs Distributed Memory:** 연산 장치들이 메모리를 공유하는지, 각자 독립된 메모리를 사용하는지에 따른 통신 방식 차이.
    - **GPU Computing:** 수천 개의 코어를 활용하여 딥러닝과 같은 대규모 병렬 연산에 특화된 환경 제공.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 단일 코어 클럭 성능 향상에 의존하던 시대를 지나, 멀티 코어와 이기종 컴퓨팅(Heterogeneous Computing)이 표준이 된 시대로 전환.
- **정책 변화:** Antigravity 프로젝트의 대규모 위키 인덱싱 작업 시, 병렬 컴퓨팅 기법을 적용하여 수천 개의 문서를 수 분 내에 처리함.

## 🔗 지식 연결 (Graph)
- [[Distributed-Computing]], [[Linear-Algebra-for-ML]], [[GPU-Architecture]], Amdahls-Law
- **Raw Source:** 10_Wiki/Topics/AI/Parallel-Computing.md