2.2 KiB
2.2 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P-REINFORCE-AUTO-PACO-001 | 10_Wiki/💡 Topics/AI | 0.94 |
|
2026-04-20 |
Parallel-Computing
📌 한 줄 통찰 (The Karpathy Summary)
"동시 다발적 연산의 힘: 하나의 거대한 계산을 아주 작은 단위들로 쪼개어 수천, 수만 개의 프로세서에 나누어 주고 동시에 처리하게 함으로써, 수백 년 걸릴 작업을 단 며칠로 단축하는 디지털 물량 공세의 기술."
📖 구조화된 지식 (Synthesized Content)
병렬 컴퓨팅(Parallel-Computing)은 많은 계산이나 프로세스가 동시에 실행되는 컴퓨팅 유형입니다.
- 핵심 유형:
- Bit-level Parallelism: 데이터 단위를 쪼개 처리.
- Instruction-level Parallelism: CPU가 여러 명령어를 겹쳐서 실행 (Pipeline).
- Data Parallelism: 각 프로세서가 동일 연산을 서로 다른 데이터 덩어리에 수행. (MapReduce와 연결)
- Task Parallelism: 서로 다른 작업을 각각의 프로세서에 맡김.
- 왜 중요한가?:
- 단일 CPU 속도의 물리적 한계(Moore's Law의 둔화)를 정면 돌파할 유일한 방법이며, 현대 AI의 빅뱅을 이끈 GPU 연산의 이론적 기초이기 때문임. (High-Performance Computing (HPC)와 연결)
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 과거에는 전력 효율 정책 때문에 병렬화에 한계가 있었으나, 현대 정책은 저전력 코어를 수만 개 때려 박는 특수 칩(TPU, NPU) 정책을 통해 병렬화의 효율 정책을 극대화함(RL Update).
- 정책 변화(RL Update): 한 대의 서버를 넘어 수천 대의 서버를 엮는 '분산 병렬 컴퓨팅 정책'이 대세가 되며, '암달의 법칙(병렬화 효율의 상한선 정책)'을 극복하기 위한 소프트웨어적 오케스트레이션 정책이 중요해짐.
🔗 지식 연결 (Graph)
- High-Performance Computing (HPC), MapReduce, Hardware, Efficiency, Deep Learning (DL)
- Modern Tech/Tools: CUDA (NVIDIA), MPI, OpenMP, TPU (Google), Cluster computing.