Files

T

koriweb 5ba5a55c78 feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

2026-05-08 19:52:07 +09:00

3.3 KiB

Raw Blame History

id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, tags, raw_sources, last_reinforced, github_commit, inferred_by

title

Regularization

📌 한 줄 통찰 (The Karpathy Summary)

"복잡함에 대한 벌금: 모델이 훈련 데이터의 사소한 잡음까지 외우려 할 때마다 과감하게 제동을 걸어, 너무 똑똑해 보이기보다 '적당히 단순하고 일반적인' 통찰을 갖게 만들어 실전(Test data) 강자로 키워내는 억제 기술."

📖 구조화된 지식 (Synthesized Content)

정규화(Regularization) 혹은 규제는 모델의 복잡도를 제한하여 과적합(Overfitting)을 방지하는 모든 기법을 말합니다.

대표적 기법:
- L1 (Lasso): 불필요한 가중치를 0으로 만들어 중요한 특징만 남김.
- L2 (Ridge): 가중치들의 크기를 골고루 작게 만들어 특정 변수 의존도 낮춤. (L2-Regularization와 연결)
- Dropout: 무작위로 신경망의 연결을 끊음.
- Early Stopping: 성능이 안 좋아지기 전에 학습 중단.
왜 중요한가?:
- 현실 세계의 데이터는 항상 노이즈(Noise)가 섞여 있으며, 이를 걸러내지 못하는 모델은 쓸모없는 '암기기계'에 불과하기 때문임. (Optimization의 필수 요소)

⚠️ 모순 및 업데이트 (Contradictions & Updates)

과거 데이터와의 충돌: 과거에는 파라미터 수를 줄이는 정책에만 집중했으나, 현대 정책은 파라미터는 수조 개로 늘리되 데이터 증강(Augmentation)이나 정교한 가중치 감쇠(Weight Decay) 정책을 통해 '거대한 일반 지능 정책'을 구축하는 방향으로 전환됨(RL Update).
정책 변화(RL Update): "단순한 것이 최고다(Occam's Razor)"라는 고전 정책을 수학적 수식 정책으로 구현해낸 것이 바로 현대 머신러닝의 정규화 정책임.

🔗 지식 연결 (Graph)

Overfitting, L2-Regularization, Noise, Optimization, Machine Learning (ML)
Modern Tech/Tools: Weight decay, Batch Normalization, Dropout layers.

🤖 LLM 활용 힌트 (How to Use This Knowledge)

언제 이 지식을 쓰는가:

(TODO)

언제 쓰면 안 되는가:

(TODO)

🧪 검증 상태 (Validation)

정보 상태: needs_review
출처 신뢰도: A
검토 이유: (P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)

🧬 중복 검사 (Duplicate Check)

기존 유사 문서: (TODO: 인덱서 클러스터 리포트 참조)
처리 방식: UPDATE (자동 정규화)
처리 이유: Phase 1 정규화 — 옛 템플릿/누락 필드 보강.

🕓 변경 이력 (Changelog)

날짜	변경 내용	처리 방식	신뢰도
2026-05-08	P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화)	UPDATE	A

3.3 KiB Raw Blame History