29 lines
1.5 KiB
Markdown
29 lines
1.5 KiB
Markdown
---
|
|
id: P-REINFORCE-AI-AMDAHL
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 0.98
|
|
tags: [Computing, Performance, Parallelism, AmdahlsLaw]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Amdahls Law (암달의 법칙)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "아무리 엔진을 갈아 끼워도, 좁은 병목 구간이 전체 속도를 결정한다." 시스템 일부분을 병렬화하거나 개선했을 때 얻을 수 있는 전체 성능 향상의 한계는 개선되지 않은 나머지 부분(직렬 구간)에 의해 제한된다는 법칙이다.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **The Formula**:
|
|
- $Speedup = \frac{1}{(1-P) + \frac{P}{S}}$
|
|
- $P$: 병렬화 가능한 부분의 비율.
|
|
- $S$: 그 부분을 얼마나 빠르게 개선했는지의 배수.
|
|
- **Key Message**:
|
|
- 프로그램의 90%를 100배 빠르게 만들어도, 변하지 않는 나머지 10% 때문에 전체 속도는 절대 10배 이상 빨라질 수 없다.
|
|
- 성능 최적화 시 '어디를 개선할 것인가'보다 '어디가 변하지 않는가'를 먼저 보는 것이 중요하다.
|
|
|
|
## ⚠️ 모순 및 업데이트 (RL Update)
|
|
- 암달의 법칙은 '고정된 문제 크기'를 가정한다. 하지만 실제로는 컴퓨팅 파워가 커지면 문제의 크기 자체를 늘리는 경우가 많은데, 이를 설명하는 구스타프슨의 법칙(Gustafson's Law)이 병렬 컴퓨팅의 희망적인 측면을 보완해준다.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- Related: [[Parallel-Computing]] , Bottleneck-Analysis
|
|
- Complement: Gustafsons-Law
|