Files
2nd/10_Wiki/Topics_Dev/Noise.md
T

32 lines
2.3 KiB
Markdown

---
id: [[P-Reinforce|P-Reinforce]]-AUTO-NOIS-001
category: Dev
confidence_score: 0.92
tags: [auto-reinforced, noise, signals, data-quality, [[Information-Theory|Information-Theory]], [[Statistics|Statistics]]]
last_reinforced: 2026-04-20
---
# [[Noise|Noise]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "진실을 가리는 불청객: 우리가 진짜 알고 싶은 정보(Signal)에 섞여 들어와 데이터의 정확도를 떨어뜨리고 판단을 흐리게 만드는 무작위한 방해 요소이자, 역설적으로는 이미지 생성이나 보안 암호화의 핵심 재료로 쓰이는 혼돈의 변수."
## 📖 구조화된 지식 (Synthesized Content)
노이즈(Noise)는 정보 전달 및 처리 과정에서 원치 않게 발생하는 방해 요소입니다.
1. **유형**:
* **Statistical Noise**: 측정 오차나 우연성에 의한 데이터 변동. ([[Inferential-Statistics|Inferential-Statistics]]와 연결)
* **Signal Noise**: 통신이나 녹음 과정에서의 전자적 간섭.
* **Concept Noise (Decision Noise)**: 판단 시 나타나는 일관성 없는 편차 (대니얼 카너먼 정의). ([[Judgment|Judgment]]와 연결)
2. **왜 중요한가?**:
* 노이즈를 제거(Denoising)하지 못하면 모델은 데이터의 본질이 아닌 쓸모없는 잡음을 학습([[Overfitting|Overfitting]])하여 예측력이 바닥을 치기 때문임.
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 노이즈를 무조건 지워야 할 '오답 정책'으로만 보았으나, 현대 정책(Diffusion Model 등)은 노이즈로부터 정보를 복원하는 과정 정책을 통해 고해상도 이미지를 생성하는 '노이즈의 창조적 활용 정책'으로 패러다임을 바꿈(RL Update). ([[Gen-AI|Gen-AI]]와 연결)
- **정책 변화(RL Update)**: 학습 데이터 정책에서도 의도적으로 노이즈를 섞어(Data Augmentation) 모델의 맷집을 키우는 '강인한 학습 정책'이 일반화 성능의 핵심 정책이 됨.
## 🔗 지식 연결 (Graph)
- [[Information-Entropy|Information-Entropy]], [[Inferential-Statistics|Inferential-Statistics]], [[Judgment|Judgment]], [[Gen-AI|Gen-AI]], [[Optimization|Optimization]]
- **Modern Tech/Tools**: Denoising Autoencoders, Diffusion Models, Gaussian noise, SNR (Signal-to-Noise Ratio).
---