bluemsi/2nd
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links

Browse Source
This commit is contained in:
Antigravity Agent
2026-05-02 09:18:34 +09:00
parent c84dcb8371
commit 6445fcc05b
13150 changed files with 55394 additions and 100862 deletions
Download Patch File Download Diff File Expand all files Collapse all files
10_Wiki/Topics_Blog/Information-Entropy.md
+2 -2
View File
@@ -6,7 +6,7 @@ tags: [auto-reinforced, information-entropy, shannon, probability, information-t
last_reinforced: 2026-04-20
---
# [[Information-Entropy]]
# [[Information-Entropy|Information-Entropy]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "놀라움의 척도: 어떤 메시지가 전달될 때 담긴 정보의 양을 '그것이 얼마나 불확실한가(Uncertainty)'로 측정하는 개념으로, 예측하기 힘든 돌발 상황일수록 엔트로피가 높고 그 정보의 가치 또한 크다는 정보 이론의 핵심 지표."
@@ -25,6 +25,6 @@ last_reinforced: 2026-04-20
- **정책 변화(RL Update)**: AI 모델이 단순히 다음 단어를 맞히는 것을 넘어, 답변의 '정보 밀도'와 '의외성'을 조절하여 더 인간답고 가치 있는 답변을 생성하게 하는 정책적 도구로 활용됨.
## 🔗 지식 연결 (Graph)
- Information-Processing, [[Complexity Theory]], [[Gradient-Descent]], [[Optimization]], [[Logic]]
- Information-Processing, [[Complexity Theory|Complexity Theory]], [[Gradient-Descent|Gradient-Descent]], [[Optimization|Optimization]], [[Logic|Logic]]
- **Modern Tech/Tools**: Loss functions (Cross-Entropy), Huffman coding, Softmax layers.
---