2.1 KiB
2.1 KiB
id: P-Reinforce-AI-DIMINISHING-RETURNS category: Unified confidence_score: 0.98 tags: [Economics,_systems, Optimization, Efficiency] last_reinforced: 2026-04-20
Diminishing Returns (한계 수익 체감)
📌 한 줄 통찰 (The Karpathy Summary)
"더 많이 붓는다고 더 빨리 차는 것은 아니다." 특정 생산 요소의 투입을 늘릴 때, 초기에는 생산량이 급증하다가 일정 시점을 넘어서면 투입 대비 얻어지는 성과(한계 생산량)가 줄어드는 법칙이다.
📖 구조화된 지식 (Synthesized Content)
- The Curve:
- Phase 1: Increasing Returns: 협동과 효율성 증대로 성과가 폭발함.
- Phase 2: Diminishing Returns: 자원 간의 병목이 생기며 투입 대비 효율이 떨어지기 시작함.
- Phase 3: Negative Returns: 과도한 투입이 오히려 관리 오버헤드나 자원 간섭을 일으켜 성과가 하락함.
- Examples:
- Software Development: 개발자 수를 늘릴수록 소통 비용이 커져 프로젝트가 더 늦어짐 (브룩스의 법칙).
- ML Training: 모델 파라미터를 무작정 늘려도 데이터 품질이 낮으면 성능 성장이 멈춤.
- Strategic Insight: '최적의 투입 지점'을 찾아야 하며, 그 이상의 노력은 '낭비'임을 인지해야 한다.
⚠️ 모순 및 업데이트 (RL Update)
- AI 스케일링 법칙(Scaling Laws)은 한계 수익 체감을 정면으로 돌파하는 것처럼 보였다. 하지만 최근에는 모델 크기를 키우는 것보다 데이터의 질을 높이거나 추론 시간을 늘리는 것이 더 효율적임이 밝혀지며, '어떤 자원'에 투자할 것인가에 대한 패러다임이 다시 변하고 있다.
🔗 지식 연결 (Graph)
- Related: Amdahls Law (암달의 법칙) , Scaling-Laws-of-Neural-Language-Models
- Law: Brooks-Law