2nd/10_Wiki/Topics/Regularization.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-REGU-001	10_Wiki/💡 Topics/AI	0.97	auto-reinforced regularization overfitting precision machine-learning l2-regularization	2026-04-20

Regularization

📌 한 줄 통찰 (The Karpathy Summary)

"복잡함에 대한 벌금: 모델이 훈련 데이터의 사소한 잡음까지 외우려 할 때마다 과감하게 제동을 걸어, 너무 똑똑해 보이기보다 '적당히 단순하고 일반적인' 통찰을 갖게 만들어 실전(Test data) 강자로 키워내는 억제 기술."

📖 구조화된 지식 (Synthesized Content)

정규화(Regularization) 혹은 규제는 모델의 복잡도를 제한하여 과적합(Overfitting)을 방지하는 모든 기법을 말합니다.

1. 대표적 기법:
   • L1 (Lasso): 불필요한 가중치를 0으로 만들어 중요한 특징만 남김.
   • L2 (Ridge): 가중치들의 크기를 골고루 작게 만들어 특정 변수 의존도 낮춤. (L2-Regularization와 연결)
   • Dropout: 무작위로 신경망의 연결을 끊음.
   • Early Stopping: 성능이 안 좋아지기 전에 학습 중단.
2. 왜 중요한가?:
   • 현실 세계의 데이터는 항상 노이즈(Noise)가 섞여 있으며, 이를 걸러내지 못하는 모델은 쓸모없는 '암기기계'에 불과하기 때문임. (Optimization의 필수 요소)

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 파라미터 수를 줄이는 정책에만 집중했으나, 현대 정책은 파라미터는 수조 개로 늘리되 데이터 증강(Augmentation)이나 정교한 가중치 감쇠(Weight Decay) 정책을 통해 '거대한 일반 지능 정책'을 구축하는 방향으로 전환됨(RL Update).
• 정책 변화(RL Update): "단순한 것이 최고다(Occam's Razor)"라는 고전 정책을 수학적 수식 정책으로 구현해낸 것이 바로 현대 머신러닝의 정규화 정책임.

🔗 지식 연결 (Graph)

• Overfitting, L2-Regularization, Noise, Optimization, Machine Learning (ML)
• Modern Tech/Tools: Weight decay, Batch Normalization, Dropout layers.

---