2nd/10_Wiki/Topics_GD/Overfitting-and-Underfitting.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
ML-FIT-001	10_Wiki/💡 Topics/AI	1.0	machine-learning Overfitting|Overfitting underfitting Bias-Variance-Tradeoff|Bias-Variance-Tradeoff Regularization|Regularization generalization	2026-04-26

Overfitting and Underfitting (과적합과 과소적합)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터를 통째로 외우는 '편협함'과 본질조차 파악 못 하는 '무지' 사이의 좁은 길(Generalization)을 찾아라" — 모델이 학습 데이터에 너무 과하게 맞추어져 실전에서 성능이 떨어지는 현상(Overfitting)과, 데이터의 기본 패턴조차 제대로 학습하지 못한 현상(Underfitting).

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: "Bias-Variance Tradeoff" — 모델이 단순할수록 발생하는 '편향(Bias)' 에러와 모델이 복잡할수록 발생하는 '분산(Variance)' 에러 사이의 총합을 최소화하여, 보지 못한 데이터에 대해서도 높은 성능을 유지하게 만드는 일반화 패턴.
• 주요 해결책:
  • Overfitting 해결: 데이터 증강(Augmentation), 규제(L1/L2), 드롭아웃(Dropout), 조기 종료(Early Stopping). 모델을 더 '차분하게' 만듦.
  • Underfitting 해결: 모델 복잡도 증가, 더 많은 학습 반복, 특징 공학(Feature Engineering)을 통한 정보 보강. 모델을 더 '똑똑하게' 만듦.
• 의의: AI 모델의 성능을 평가할 때 단순한 정확도가 아닌 '학습 곡선(Learning Curve)'을 통해 모델의 현재 상태를 진단하고 처방을 내리는 결정적인 기준.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과적합은 무조건 피해야 할 악으로 여겨졌으나, 최근 초거대 모델(LLM)에서는 학습 데이터를 완전히 외우는 단계를 넘어 더 학습시킬 때 오히려 일반화 성능이 다시 좋아지는 '더블 디센트(Double Descent)' 현상이 발견되어 최적화 전략의 패러다임이 변하고 있음.
• 정책 변화: Antigravity 프로젝트는 에이전트의 학습 과정에서 검증 오차(Validation Loss)가 상승하는 지점을 실시간 모니터링하여, 최적의 일반화 시점에서 학습을 종료하는 자동 조기 종료 프로토콜을 적용함.

🔗 지식 연결 (Graph)

• Normalization-Strategies, Cross-Validation-Techniques, HyperParameter-Optimization, Loss-Functions-Foundations
• Raw Source: 10_Wiki/Topics/AI/Overfitting-and-Underfitting.md