Antigravity Agent
2.6 KiB
2.6 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| ML-FIT-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Overfitting and Underfitting (과적합과 과소적합)
📌 한 줄 통찰 (The Karpathy Summary)
"데이터를 통째로 외우는 '편협함'과 본질조차 파악 못 하는 '무지' 사이의 좁은 길(Generalization)을 찾아라" — 모델이 학습 데이터에 너무 과하게 맞추어져 실전에서 성능이 떨어지는 현상(Overfitting)과, 데이터의 기본 패턴조차 제대로 학습하지 못한 현상(Underfitting).
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: "Bias-Variance Tradeoff" — 모델이 단순할수록 발생하는 '편향(Bias)' 에러와 모델이 복잡할수록 발생하는 '분산(Variance)' 에러 사이의 총합을 최소화하여, 보지 못한 데이터에 대해서도 높은 성능을 유지하게 만드는 일반화 패턴.
- 주요 해결책:
- Overfitting 해결: 데이터 증강(Augmentation), 규제(L1/L2), 드롭아웃(Dropout), 조기 종료(Early Stopping). 모델을 더 '차분하게' 만듦.
- Underfitting 해결: 모델 복잡도 증가, 더 많은 학습 반복, 특징 공학(Feature Engineering)을 통한 정보 보강. 모델을 더 '똑똑하게' 만듦.
- 의의: AI 모델의 성능을 평가할 때 단순한 정확도가 아닌 '학습 곡선(Learning Curve)'을 통해 모델의 현재 상태를 진단하고 처방을 내리는 결정적인 기준.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 과적합은 무조건 피해야 할 악으로 여겨졌으나, 최근 초거대 모델(LLM)에서는 학습 데이터를 완전히 외우는 단계를 넘어 더 학습시킬 때 오히려 일반화 성능이 다시 좋아지는 '더블 디센트(Double Descent)' 현상이 발견되어 최적화 전략의 패러다임이 변하고 있음.
- 정책 변화: Antigravity 프로젝트는 에이전트의 학습 과정에서 검증 오차(Validation Loss)가 상승하는 지점을 실시간 모니터링하여, 최적의 일반화 시점에서 학습을 종료하는 자동 조기 종료 프로토콜을 적용함.
🔗 지식 연결 (Graph)
- Normalization-Strategies, Cross-Validation-Techniques, Hyperparameter-Optimization, Loss-Functions-Foundations
- Raw Source: 10_Wiki/Topics/AI/Overfitting-and-Underfitting.md