Antigravity Agent
29 lines
2.1 KiB
Markdown
29 lines
2.1 KiB
Markdown
---
|
|
id: REG-TECH-001
|
|
category: Unified
|
|
confidence_score: 1.0
|
|
tags: [machine-learning, [[Optimization|Optimization]], [[Overfitting|Overfitting]], [[Regularization|Regularization]]]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Regularization Techniques (규제화 기법)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "모델이 학습 데이터만 달달 외우지 못하게 방해하라" — 과적합(Overfitting)을 방지하고 모델의 일반화 성능을 높이기 위해 복잡성에 페널티를 주거나 학습 과정에 의도적인 노이즈를 추가하는 기법들.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 모델이 특정 가중치에 과하게 의존하거나 데이터의 지엽적인 특징에 매몰되지 않도록 인위적인 제약 조건을 가하는 패턴.
|
|
- **주요 기법:**
|
|
- **L1/L2 Regularization:** 가중치의 크기를 손실 함수에 포함시켜 가중치가 너무 커지지 않도록 제한. L1은 희소(Sparse) 모델을 만듦.
|
|
- **Dropout:** 학습 중 일부 뉴런을 무작위로 비활성화하여 특정 경로에만 의존하는 현상 방지.
|
|
- **Early Stopping:** 검증 성능이 더 이상 좋아지지 않을 때 학습을 조기에 종료.
|
|
- **Data Augmentation:** 학습 데이터를 변형(회전, 노이즈 추가 등)하여 모델이 더 다양한 케이스에 대응하게 함.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 초기에는 수학적 제약(L1/L2) 위주였으나, 현대에는 모델 아키텍처 자체에 녹아든 기법(Dropout, Layer Norm 등)과 데이터 차원의 규제화가 더 널리 사용됨.
|
|
- **정책 변화:** Antigravity 에이전트의 내부 요약 모델 학습 시, 과적합 방지를 위해 0.1 비율의 Dropout과 엄격한 Early Stopping 정책을 적용함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Overfitting|Overfitting]], [[Optimization|Optimization]], [[Machine-Learning-Lifecycle|Machine-Learning-Lifecycle]], [[Layer-Normalization|Layer-Normalization]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Regularization-Techniques.md
|