Antigravity Agent
2.3 KiB
2.3 KiB
id, category, confidence_score, tags, last_reinforced, github_commit
| id | category | confidence_score | tags | last_reinforced | github_commit | ||||
|---|---|---|---|---|---|---|---|---|---|
| P-REINFORCE-AI-052 | 10_Wiki/💡 Topics/Computational Theory & Math | 0.98 |
|
2026-06-XX | [P-Reinforce] Processed Information Theory. |
Information Theory (정보 이론)
📌 한 줄 통찰 (The Karpathy Summary)
정보의 양과 질을 수학적으로 측정하는 학문으로, 불확실성을 감소시키는 정도를 '엔트로피'로 정의하여 데이터 압축, AI 모델의 효율성, 그리고 지식의 전달 과정을 정량화한다.
📖 구조화된 지식 (Synthesized Content)
- 핵심 개념: 정보는 그 자체로 물리적인 실체가 아니며, 불확실성을 해소하는 과정에서 발생하는 '측정 가능한 엔트로피 감소'로 정의된다.
- 주요 이론 및 공식:
- 엔트로피 (Entropy): 시스템의 무질서도 또는 평균 정보량을 측정한다. 확률 분포가 균일할수록 엔트로피는 높아진다.
- 상호 정보량 (Mutual Information): 두 변수 간에 얼마나 많은 정보를 공유하는지를 측정한다. $I(X; Y)$로 표기하며, AI 모델의 특징 추출 과정에서 중요한 개념이다.
- 응용 분야:
- 데이터 압축: 데이터 중 엔트로피가 낮은 부분은 예측 가능하여 효율적으로 압축할 수 있다.
- 머신러닝: 정보 이론 기반 분류기는 입력 특성 간의 독립성을 측정하여 최적의 특징을 선택한다.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 정보를 '양'으로만 볼 것이 아니라, 그 '질'(Contextual Meaning)이 더 중요하다는 점을 인지해야 한다. 단순한 양적 측정은 지식의 맥락(Semantic Grounding)을 놓치게 만든다.
- 정책 변화: 최근에는 LLM의 성능 평가에 단순히 Perplexity 같은 전통적인 엔트로피 개념뿐만 아니라, '일관성 (Coherence)'과 '사실 정확도'를 결합한 새로운 측정 지표가 요구되고 있다.
🔗 지식 연결 (Graph)
- Parent: Computational Thinking
- Related: Shannon-Entropy , Information-Architecture , AI 모델 평가
- Raw Source: 00_Raw/Information Theory.md