2nd/10_Wiki/Topics/AI/Amdahls Law (암달의 법칙).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-AMDAHL	10_Wiki/💡 Topics/AI	0.98	Computing Performance Parallelism AmdahlsLaw	2026-04-20

Amdahls Law (암달의 법칙)

📌 한 줄 통찰 (The Karpathy Summary)

"아무리 엔진을 갈아 끼워도, 좁은 병목 구간이 전체 속도를 결정한다." 시스템 일부분을 병렬화하거나 개선했을 때 얻을 수 있는 전체 성능 향상의 한계는 개선되지 않은 나머지 부분(직렬 구간)에 의해 제한된다는 법칙이다.

📖 구조화된 지식 (Synthesized Content)

• The Formula:
  • Speedup = \frac{1}{(1-P) + \frac{P}{S}}
  • P: 병렬화 가능한 부분의 비율.
  • S: 그 부분을 얼마나 빠르게 개선했는지의 배수.
• Key Message:
  • 프로그램의 90%를 100배 빠르게 만들어도, 변하지 않는 나머지 10% 때문에 전체 속도는 절대 10배 이상 빨라질 수 없다.
  • 성능 최적화 시 '어디를 개선할 것인가'보다 '어디가 변하지 않는가'를 먼저 보는 것이 중요하다.

⚠️ 모순 및 업데이트 (RL Update)

• 암달의 법칙은 '고정된 문제 크기'를 가정한다. 하지만 실제로는 컴퓨팅 파워가 커지면 문제의 크기 자체를 늘리는 경우가 많은데, 이를 설명하는 구스타프슨의 법칙(Gustafson's Law)이 병렬 컴퓨팅의 희망적인 측면을 보완해준다.

🔗 지식 연결 (Graph)

• Related: Parallel-Computing , Bottleneck-Analysis
• Complement: Gustafsons-Law