Antigravity Agent
2.3 KiB
2.3 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P-REINFORCE-AUTO-REGU-001 | Business | 0.97 |
|
2026-04-20 |
Regularization
📌 한 줄 통찰 (The Karpathy Summary)
"복잡함에 대한 벌금: 모델이 훈련 데이터의 사소한 잡음까지 외우려 할 때마다 과감하게 제동을 걸어, 너무 똑똑해 보이기보다 '적당히 단순하고 일반적인' 통찰을 갖게 만들어 실전(Test data) 강자로 키워내는 억제 기술."
📖 구조화된 지식 (Synthesized Content)
정규화(Regularization) 혹은 규제는 모델의 복잡도를 제한하여 과적합(Overfitting)을 방지하는 모든 기법을 말합니다.
- 대표적 기법:
- L1 (Lasso): 불필요한 가중치를 0으로 만들어 중요한 특징만 남김.
- L2 (Ridge): 가중치들의 크기를 골고루 작게 만들어 특정 변수 의존도 낮춤. (L2-Regularization와 연결)
- Dropout: 무작위로 신경망의 연결을 끊음.
- Early Stopping: 성능이 안 좋아지기 전에 학습 중단.
- 왜 중요한가?:
- 현실 세계의 데이터는 항상 노이즈(Noise)가 섞여 있으며, 이를 걸러내지 못하는 모델은 쓸모없는 '암기기계'에 불과하기 때문임. (Optimization의 필수 요소)
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 과거에는 파라미터 수를 줄이는 정책에만 집중했으나, 현대 정책은 파라미터는 수조 개로 늘리되 데이터 증강(Augmentation)이나 정교한 가중치 감쇠(Weight Decay) 정책을 통해 '거대한 일반 지능 정책'을 구축하는 방향으로 전환됨(RL Update).
- 정책 변화(RL Update): "단순한 것이 최고다(Occam's Razor)"라는 고전 정책을 수학적 수식 정책으로 구현해낸 것이 바로 현대 머신러닝의 정규화 정책임.
🔗 지식 연결 (Graph)
- Overfitting, L2-Regularization, Noise, Optimization, Machine Learning (ML)
- Modern Tech/Tools: Weight decay, Batch Normalization, Dropout layers.