---
category: Unified
tags: [auto-consolidated, technical-documentation]
title: [[Information Theory|Information Theory]] (정보 이론)
last_updated: 2026-05-02
---

# [[Information Theory|Information Theory]] (정보 이론)

## 📌 Brief Summary
> 정보의 양과 질을 수학적으로 측정하는 학문으로, 불확실성을 감소시키는 정도를 '엔트로피'로 정의하여 데이터 압축, AI 모델의 효율성, 그리고 지식의 전달 과정을 정량화한다.

---

> "불확실성을 측정하고 통신을 수치화하라" — 클로드 섀넌이 정립한, 정보의 양을 엔트로피(Entropy)라는 개념으로 정의하고 데이터 압축 및 전송의 한계를 규명한 수학적 기초.

## 📖 Core Content
- **핵심 개념:** 정보는 그 자체로 물리적인 실체가 아니며, 불확실성을 해소하는 과정에서 발생하는 '측정 가능한 엔트로피 감소'로 정의된다.
- **주요 이론 및 공식:**
    1. **엔트로피 (Entropy):** 시스템의 무질서도 또는 평균 정보량을 측정한다. 확률 분포가 균일할수록 엔트로피는 높아진다.
    2. **상호 정보량 (Mutual Information):** 두 변수 간에 얼마나 많은 정보를 공유하는지를 측정한다. $I(X; Y)$로 표기하며, AI 모델의 특징 추출 과정에서 중요한 개념이다.
- **응용 분야:**
    *   **데이터 압축:** 데이터 중 엔트로피가 낮은 부분은 예측 가능하여 효율적으로 압축할 수 있다.
    *   **머신러닝:** 정보 이론 기반 분류기는 입력 특성 간의 독립성을 측정하여 최적의 특징을 선택한다.

---

- **추출된 패턴:** 메시지가 담고 있는 '놀라움의 정도(Surprise)'를 확률 기반으로 계산하여, 정보를 비트(Bit) 단위로 정량화하는 패턴.
- **세부 내용:**
    - **Entropy ($H$):** 정보의 평균적인 불확실성. 확률이 낮을수록(예측하기 힘들수록) 정보량은 큼.
    - **Mutual Information:** 두 변수 사이의 의존성이나 공유된 정보량을 측정.
    - **Channel Capacity:** 노이즈가 있는 채널을 통해 오류 없이 전송할 수 있는 최대 정보율.
    - **Cross-Entropy:** 딥러닝에서 실제 분포와 예측 분포의 차이를 계산하는 손실 함수로 활용.

## ⚖️ Trade-offs & Caveats
- **과거 데이터와의 충돌:** 정보를 '양'으로만 볼 것이 아니라, 그 '질'(Contextual Meaning)이 더 중요하다는 점을 인지해야 한다. 단순한 양적 측정은 지식의 맥락(Semantic Grounding)을 놓치게 만든다.
- **정책 변화:** 최근에는 LLM의 성능 평가에 단순히 Perplexity 같은 전통적인 엔트로피 개념뿐만 아니라, '일관성 (Coherence)'과 '사실 정확도'를 결합한 새로운 측정 지표가 요구되고 있다.

---

- **과거 데이터와의 충돌:** 단순 신호 전송 기술에서, 현대에는 머신러닝의 학습 목표 정의 및 모델 복잡도 측정의 핵심 이론으로 확장됨.
- **정책 변화:** Antigravity 에이전트의 응답 생성 시, '정보 밀도'를 높이기 위해 불필요한 반복을 제거하고 핵심 엔트로피가 높은 텍스트를 구성하도록 유도함.

## 🔗 Knowledge Connections
- Parent: Computational Thinking
- Related: Shannon Entropy , Information-[[Architecture|Architecture]] , AI 모델 평가

---

---

- Entropy, Cross-Entropy, Data-Compression, Machine-Learning
- **Raw Source:** 10_Wiki/Topics/AI/Information-Theory.md
