feat: complete wikification of War Commander batch 1&2 and final grey dot cleanup
This commit is contained in:
@@ -1,12 +1,12 @@
|
||||
---
|
||||
id: INFO-ENTROPY-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [math, information-theory, entropy, probability, data-compression]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Entropy in Information Theory (정보 이론에서의 엔트로피)]]
|
||||
# Entropy in Information Theory (정보 이론에서의 엔트로피)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "놀라움의 정도를 숫자로 측정하여 정보의 본질적 가치를 규명하라" — 클로드 섀넌이 정의한 개념으로, 확률 분포의 불확실성(Uncertainty)이나 무작위성을 수치화한 것이며, 데이터를 전송하거나 저장할 때 필요한 최소한의 정보량을 의미함.
|
||||
@@ -24,5 +24,5 @@ last_reinforced: 2026-04-26
|
||||
- **정책 변화:** Antigravity 프로젝트는 문서 내의 키워드 추출이나 지식의 중요도 산출 시, 해당 단어나 문장이 지식 네트워크의 전체 엔트로피를 얼마나 낮추는지(정보 이득)를 기준으로 가치를 평가함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Cross-Entropy-Loss]], [[Decision-Trees-and-Random-Forests]], [[Information-Theory]], [[Cybernetics-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Entropy in Information Theory.md]]
|
||||
- Cross-Entropy-Loss, Decision-Trees-and-Random-Forests, [[Information-Theory]], Cybernetics-Foundations
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/Entropy in Information Theory.md
|
||||
|
||||
Reference in New Issue
Block a user