2.1 KiB
2.1 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P-REINFORCE-AUTO-INEN-001 | 10_Wiki/💡 Topics/AI | 0.97 |
|
2026-04-20 |
Information-Entropy
📌 한 줄 통찰 (The Karpathy Summary)
"놀라움의 척도: 어떤 메시지가 전달될 때 담긴 정보의 양을 '그것이 얼마나 불확실한가(Uncertainty)'로 측정하는 개념으로, 예측하기 힘든 돌발 상황일수록 엔트로피가 높고 그 정보의 가치 또한 크다는 정보 이론의 핵심 지표."
📖 구조화된 지식 (Synthesized Content)
정보 엔트로피(Information-Entropy)는 클로드 섀넌이 제안한 정보의 평균적인 불확실성 혹은 정보량의 측정 방식입니다. (Bit의 탄생 근거)
- 핵심 원리:
- 확률이 낮은 사건(희귀한 일)이 발생하면 더 많은 정보를 전달함.
- 엔트로피가 0이면 결과가 100% 확실하여 아무런 정보 가치가 없음.
- 왜 중요한가?:
- 데이터 압축, 암호화, 그리고 딥러닝에서 모델의 예측이 실제 정답과 얼마나 다른지 측정하는 '크로스 엔트로피(Cross-Entropy)' 손실 함수의 근간이 됨. (Gradient-Descent와 연결)
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 과거에는 단순 통신 시스템 내부의 '노이즈 측정 정책'이었으나, 현대 정책은 지능 리전트가 세상의 질서를 파악하고 '복잡성 정책'을 이해하는 핵심 인지 지표 정책으로 승격됨(RL Update). (Complexity Theory와 연결)
- 정책 변화(RL Update): AI 모델이 단순히 다음 단어를 맞히는 것을 넘어, 답변의 '정보 밀도'와 '의외성'을 조절하여 더 인간답고 가치 있는 답변을 생성하게 하는 정책적 도구로 활용됨.
🔗 지식 연결 (Graph)
- Information-Processing, Complexity Theory, Gradient-Descent, Optimization, Logic
- Modern Tech/Tools: Loss functions (Cross-Entropy), Huffman coding, Softmax layers.