2nd/10_Wiki/Topics_Blog/Information-Theory.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
INFO-THEORY-001	10_Wiki/💡 Topics/AI	1.0	math communication entropy data-compression ai-foundations	2026-04-26

Information Theory (정보 이론)

📌 한 줄 통찰 (The Karpathy Summary)

"불확실성을 측정하고 통신을 수치화하라" — 클로드 섀넌이 정립한, 정보의 양을 엔트로피(Entropy)라는 개념으로 정의하고 데이터 압축 및 전송의 한계를 규명한 수학적 기초.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 메시지가 담고 있는 '놀라움의 정도(Surprise)'를 확률 기반으로 계산하여, 정보를 비트(Bit) 단위로 정량화하는 패턴.
• 세부 내용:
  • Entropy (H): 정보의 평균적인 불확실성. 확률이 낮을수록(예측하기 힘들수록) 정보량은 큼.
  • Mutual Information: 두 변수 사이의 의존성이나 공유된 정보량을 측정.
  • Channel Capacity: 노이즈가 있는 채널을 통해 오류 없이 전송할 수 있는 최대 정보율.
  • Cross-Entropy: 딥러닝에서 실제 분포와 예측 분포의 차이를 계산하는 손실 함수로 활용.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 단순 신호 전송 기술에서, 현대에는 머신러닝의 학습 목표 정의 및 모델 복잡도 측정의 핵심 이론으로 확장됨.
• 정책 변화: Antigravity 에이전트의 응답 생성 시, '정보 밀도'를 높이기 위해 불필요한 반복을 제거하고 핵심 엔트로피가 높은 텍스트를 구성하도록 유도함.

🔗 지식 연결 (Graph)

• Entropy, Cross-Entropy, Data-Compression, Machine-Learning
• Raw Source: 10_Wiki/Topics/AI/Information-Theory.md