Initial Commit: Reinforced Knowledge Wiki v1.0 - Pure Origin
This commit is contained in:
@@ -0,0 +1,33 @@
|
||||
---
|
||||
id: P-REINFORCE-AI-055
|
||||
category: "[[10_Wiki/💡 Topics/Computational Theory & Math]]"
|
||||
confidence_score: 0.97
|
||||
tags: [graph theory, network science, graph algorithm, relationship]
|
||||
last_reinforced: 2026-06-XX
|
||||
github_commit: "[P-Reinforce] Processed Graph Theory."
|
||||
---
|
||||
|
||||
# [[Graph Theory]] (그래프 이론)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> 객체와 그들 사이의 관계를 노드(Vertex)와 엣지(Edge)로 모델링하여, 복잡한 네트워크 구조 내에서 최단 경로, 연결성, 커뮤니티 등을 수학적으로 분석하는 학문이다.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **정의:** 시스템을 단순한 데이터 집합이 아닌 '관계형 구조'로 보는 관점이다. 현대 AI/ML에서 관계를 이해하는 데 가장 기본적이며 강력한 모델링 도구이다.
|
||||
- **핵심 구성 요소:**
|
||||
1. **Vertex (노드):** 개체(Object) 자체. (예: 사용자, 상품).
|
||||
2. **Edge (간선):** 노드 간의 관계(Relationship). (예: '구매했다', '친구이다').
|
||||
3. **가중치 (Weight):** 엣지에 부여되는 값으로, 연결의 강도나 비용을 나타낸다.
|
||||
- **주요 알고리즘 및 응용:**
|
||||
* **최단 경로 (Shortest Path):** 다익스트라(Dijkstra's) 알고리즘 등을 사용하여 가장 효율적인 흐름 경로를 찾는다.
|
||||
* **커뮤니티 탐지 (Community Detection):** 그래프 내에서 상호 연결성이 높은 작은 그룹을 찾아내, 숨겨진 패턴이나 영향력을 분석하는 데 사용된다.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 모든 현실의 관계가 깔끔한 '엣지'로 정의되지 않을 수 있다. 비정형적인 상호작용이나 시간적 맥락이 중요한 경우, 그래프에 추가적인 속성(Temporal Edge)을 부여하는 것이 필요하다.
|
||||
- **정책 변화:** Knowledge Graph (온톨로지)의 핵심 기반 이론이며, 단순한 관계를 넘어 '왜' 그런 관계가 성립했는지에 대한 근거(Provenance)까지 기록하는 방향으로 발전하고 있다.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Parent: [[Knowledge Graphs]]
|
||||
- Related: [[Network Science]] , [[Cybernetics]] , [[Complex Adaptive Systems]]
|
||||
- Raw Source: [[00_Raw/Graph Theory.md]]
|
||||
---
|
||||
@@ -0,0 +1,32 @@
|
||||
---
|
||||
id: P-REINFORCE-AI-052
|
||||
category: "[[10_Wiki/💡 Topics/Computational Theory & Math]]"
|
||||
confidence_score: 0.98
|
||||
tags: [information theory, shannon entropy, compression, information]
|
||||
last_reinforced: 2026-06-XX
|
||||
github_commit: "[P-Reinforce] Processed Information Theory."
|
||||
---
|
||||
|
||||
# [[Information Theory]] (정보 이론)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> 정보의 양과 질을 수학적으로 측정하는 학문으로, 불확실성을 감소시키는 정도를 '엔트로피'로 정의하여 데이터 압축, AI 모델의 효율성, 그리고 지식의 전달 과정을 정량화한다.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **핵심 개념:** 정보는 그 자체로 물리적인 실체가 아니며, 불확실성을 해소하는 과정에서 발생하는 '측정 가능한 엔트로피 감소'로 정의된다.
|
||||
- **주요 이론 및 공식:**
|
||||
1. **엔트로피 (Entropy):** 시스템의 무질서도 또는 평균 정보량을 측정한다. 확률 분포가 균일할수록 엔트로피는 높아진다.
|
||||
2. **상호 정보량 (Mutual Information):** 두 변수 간에 얼마나 많은 정보를 공유하는지를 측정한다. $I(X; Y)$로 표기하며, AI 모델의 특징 추출 과정에서 중요한 개념이다.
|
||||
- **응용 분야:**
|
||||
* **데이터 압축:** 데이터 중 엔트로피가 낮은 부분은 예측 가능하여 효율적으로 압축할 수 있다.
|
||||
* **머신러닝:** 정보 이론 기반 분류기는 입력 특성 간의 독립성을 측정하여 최적의 특징을 선택한다.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 정보를 '양'으로만 볼 것이 아니라, 그 '질'(Contextual Meaning)이 더 중요하다는 점을 인지해야 한다. 단순한 양적 측정은 지식의 맥락(Semantic Grounding)을 놓치게 만든다.
|
||||
- **정책 변화:** 최근에는 LLM의 성능 평가에 단순히 Perplexity 같은 전통적인 엔트로피 개념뿐만 아니라, '일관성 (Coherence)'과 '사실 정확도'를 결합한 새로운 측정 지표가 요구되고 있다.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Parent: [[Computational Thinking]]
|
||||
- Related: [[Shannon Entropy]] , [[Information-Architecture]] , [[AI 모델 평가]]
|
||||
- Raw Source: [[00_Raw/Information Theory.md]]
|
||||
---
|
||||
Reference in New Issue
Block a user