2.2 KiB
2.2 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | |||||
|---|---|---|---|---|---|---|---|---|---|
| INFO-ENTROPY-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Entropy in Information Theory (정보 이론에서의 엔트로피)
📌 한 줄 통찰 (The Karpathy Summary)
"놀라움의 정도를 숫자로 측정하여 정보의 본질적 가치를 규명하라" — 클로드 섀넌이 정의한 개념으로, 확률 분포의 불확실성(Uncertainty)이나 무작위성을 수치화한 것이며, 데이터를 전송하거나 저장할 때 필요한 최소한의 정보량을 의미함.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: 사건이 발생할 확률이 낮을수록(더 놀라울수록) 더 많은 정보를 담고 있다는 직관을 수학적 기댓값(
H(X) = -\sum p(x) \log p(x))으로 정형화하는 패턴. - 주요 특징:
- Uncertainty: 모든 사건의 확률이 균등할 때(가장 예측하기 힘들 때) 엔트로피가 최대가 됨.
- Information Gain: 특정 정보를 알게 됨으로써 줄어든 엔트로피의 양. 의사결정 나무의 학습 기준으로 활용.
- Compression Limit: 엔트로피는 이론적으로 도달 가능한 최적의 데이터 압축 한계를 정의함.
- 의의: 무의미한 소음(Noise)과 유의미한 신호(Signal)를 구분하고, 데이터 속에 숨겨진 지식의 밀도를 측정하는 척도 제공.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 열역학적 무질서도에서 시작된 개념을 '정보의 양'이라는 추상적 가치로 확장하여 디지털 통신과 AI 시대를 여는 이론적 토대가 됨.
- 정책 변화: Antigravity 프로젝트는 문서 내의 키워드 추출이나 지식의 중요도 산출 시, 해당 단어나 문장이 지식 네트워크의 전체 엔트로피를 얼마나 낮추는지(정보 이득)를 기준으로 가치를 평가함.
🔗 지식 연결 (Graph)
- Cross-Entropy-Loss, Decision-Trees-and-Random-Forests, Information-Theory, Cybernetics-Foundations
- Raw Source: 10_Wiki/Topics/AI/Entropy in Information Theory.md