---
id: INFO-ENTROPY-001
category: Dev
confidence_score: 1.0
tags: [math, [[Information-Theory|Information-Theory]], entropy, probability, data-compression]
last_reinforced: 2026-04-26
---

# Entropy in [[Information Theory|Information Theory]] (정보 이론에서의 엔트로피)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "놀라움의 정도를 숫자로 측정하여 정보의 본질적 가치를 규명하라" — 클로드 섀넌이 정의한 개념으로, 확률 분포의 불확실성(Uncertainty)이나 무작위성을 수치화한 것이며, 데이터를 전송하거나 저장할 때 필요한 최소한의 정보량을 의미함.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 사건이 발생할 확률이 낮을수록(더 놀라울수록) 더 많은 정보를 담고 있다는 직관을 수학적 기댓값($H(X) = -\sum p(x) \log p(x)$)으로 정형화하는 패턴.
- **주요 특징:**
    - **Uncertainty:** 모든 사건의 확률이 균등할 때(가장 예측하기 힘들 때) 엔트로피가 최대가 됨.
    - **Information Gain:** 특정 정보를 알게 됨으로써 줄어든 엔트로피의 양. 의사결정 나무의 학습 기준으로 활용.
    - **Compression Limit:** 엔트로피는 이론적으로 도달 가능한 최적의 데이터 압축 한계를 정의함.
- **의의:** 무의미한 소음([[Noise|Noise]])과 유의미한 신호(Signal)를 구분하고, 데이터 속에 숨겨진 지식의 밀도를 측정하는 척도 제공.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 열역학적 무질서도에서 시작된 개념을 '정보의 양'이라는 추상적 가치로 확장하여 디지털 통신과 AI 시대를 여는 이론적 토대가 됨.
- **정책 변화:** Antigravity 프로젝트는 문서 내의 키워드 추출이나 지식의 중요도 산출 시, 해당 단어나 문장이 지식 네트워크의 전체 엔트로피를 얼마나 낮추는지(정보 이득)를 기준으로 가치를 평가함.

## 🔗 지식 연결 (Graph)
- Cross-Entropy-Loss, Decision-Trees-and-Random-Forests, [[Information-Theory|Information-Theory]], [[Cybernetics|Cybernetics]]-Foundations
- **Raw Source:** 10_Wiki/Topics/AI/Entropy in Information Theory.md