2nd/AI/Amdahls Law (암달의 법칙).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-CS-AMDAHL	10_Wiki/💡 Topics/AI	1.0	Amdahls Law Parallel Computing Latency Computer Architecture	2026-04-20

Amdahls-Law-(암달의-법칙)

📌 한 줄 통찰 (The Karpathy Summary)

"쇠사슬의 강도는 가장 약한 연결 고리에 의해 결정된다." 프로그램의 일부분만 병렬화했을 때 얻을 수 있는 이론적인 최대 성능 향상폭(Speedup)은 변하지 않는 '순차적 부분'에 의해 제한된다는 냉혹한 법칙이다.

📖 구조화된 지식 (Synthesized Content)

• Theoretical Speedup:
  • 프로그램의 90%를 병렬화하더라도, 나머지 10%가 순차적으로 실행되어야 한다면 아무리 많은 코어(Processor)를 투입해도 속도는 10배 이상 빨라질 수 없다.
• Diminishing Returns:
  • 프로세서 개수가 늘어날수록 성능 향상률은 급격히 둔화되며, 특정 지점 이후에는 통신 오버헤드로 인해 오히려 성능이 떨어질 수도 있다.
• Optimization Strategy:
  • 전체 성능을 높이려면 병렬화 가능한 부분을 늘리기보다, '병렬화 불가능한 순차적 구간'을 최대한 짧게 만드는 데 집중해야 한다.

⚠️ 모순 및 업데이트 (RL Update)

• 암달의 법칙은 데이터 크기가 고정된 상황을 가정한다. 데이터 크기 자체가 늘어날 때는 병렬화 효율이 더 좋아진다는 '구스타프슨의 법칙(Gustafson's Law)'이 보완적인 시각을 제공한다.

🔗 지식 연결 (Graph)

• Related: Distributed-Systems-Engineering , Complexity-Theory
• Foundation: Computational Theory & Math/Information Theory