[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-INEN-001
|
||||
id: [[P-Reinforce]]-AUTO-INEN-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 0.97
|
||||
tags: [auto-reinforced, information-entropy, shannon, probability, information-theory, uncertainty]
|
||||
tags: [auto-reinforced, information-entropy, shannon, probability, [[Information-Theory]], uncertainty]
|
||||
last_reinforced: 2026-04-20
|
||||
---
|
||||
|
||||
@@ -18,13 +18,13 @@ last_reinforced: 2026-04-20
|
||||
* 확률이 낮은 사건(희귀한 일)이 발생하면 더 많은 정보를 전달함.
|
||||
* 엔트로피가 0이면 결과가 100% 확실하여 아무런 정보 가치가 없음.
|
||||
2. **왜 중요한가?**:
|
||||
* 데이터 압축, 암호화, 그리고 딥러닝에서 모델의 예측이 실제 정답과 얼마나 다른지 측정하는 '크로스 엔트로피(Cross-Entropy)' 손실 함수의 근간이 됨. (Gradient-Descent와 연결)
|
||||
* 데이터 압축, 암호화, 그리고 딥러닝에서 모델의 예측이 실제 정답과 얼마나 다른지 측정하는 '크로스 엔트로피(Cross-Entropy)' 손실 함수의 근간이 됨. ([[Gradient-Descent]]와 연결)
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 단순 통신 시스템 내부의 '노이즈 측정 정책'이었으나, 현대 정책은 지능 리전트가 세상의 질서를 파악하고 '복잡성 정책'을 이해하는 핵심 인지 지표 정책으로 승격됨(RL Update). (Complexity Theory와 연결)
|
||||
- **과거 데이터와의 충돌**: 과거에는 단순 통신 시스템 내부의 '노이즈 측정 정책'이었으나, 현대 정책은 지능 리전트가 세상의 질서를 파악하고 '복잡성 정책'을 이해하는 핵심 인지 지표 정책으로 승격됨(RL Update). ([[Complexity Theory]]와 연결)
|
||||
- **정책 변화(RL Update)**: AI 모델이 단순히 다음 단어를 맞히는 것을 넘어, 답변의 '정보 밀도'와 '의외성'을 조절하여 더 인간답고 가치 있는 답변을 생성하게 하는 정책적 도구로 활용됨.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Information-Processing, [[Complexity Theory]], [[Gradient-Descent]], [[Optimization]], [[Logic]]
|
||||
- **Modern Tech/Tools**: Loss functions (Cross-Entropy), Huffman coding, Softmax layers.
|
||||
- Information-[[Processing]], [[Complexity Theory]], [[Gradient-Descent]], [[Optimization]], [[Logic]]
|
||||
- **Modern Tech/Tools**: [[Loss Functions]] (Cross-Entropy), Huffman coding, Softmax layers.
|
||||
---
|
||||
|
||||
Reference in New Issue
Block a user