28 lines
1.7 KiB
Markdown
28 lines
1.7 KiB
Markdown
---
|
|
id: P-REINFORCE-CS-AMDAHL
|
|
category: "[[10_Wiki/💡 Topics/AI]]"
|
|
confidence_score: 1.0
|
|
tags: [Amdahls Law, Parallel Computing, Latency, Computer Architecture]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Amdahls-Law-(암달의-법칙)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "쇠사슬의 강도는 가장 약한 연결 고리에 의해 결정된다." 프로그램의 일부분만 병렬화했을 때 얻을 수 있는 이론적인 최대 성능 향상폭(Speedup)은 변하지 않는 '순차적 부분'에 의해 제한된다는 냉혹한 법칙이다.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **Theoretical Speedup**:
|
|
- 프로그램의 90%를 병렬화하더라도, 나머지 10%가 순차적으로 실행되어야 한다면 아무리 많은 코어(Processor)를 투입해도 속도는 10배 이상 빨라질 수 없다.
|
|
- **Diminishing Returns**:
|
|
- 프로세서 개수가 늘어날수록 성능 향상률은 급격히 둔화되며, 특정 지점 이후에는 통신 오버헤드로 인해 오히려 성능이 떨어질 수도 있다.
|
|
- **Optimization Strategy**:
|
|
- 전체 성능을 높이려면 병렬화 가능한 부분을 늘리기보다, '병렬화 불가능한 순차적 구간'을 최대한 짧게 만드는 데 집중해야 한다.
|
|
|
|
## ⚠️ 모순 및 업데이트 (RL Update)
|
|
- 암달의 법칙은 데이터 크기가 고정된 상황을 가정한다. 데이터 크기 자체가 늘어날 때는 병렬화 효율이 더 좋아진다는 '구스타프슨의 법칙(Gustafson's Law)'이 보완적인 시각을 제공한다.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- Related: [[Distributed-Systems-Engineering]] , [[Complexity-Theory]]
|
|
- Foundation: [[Computational Theory & Math/Information Theory]]
|