[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -2,66 +2,223 @@
|
||||
id: wiki-2026-0508-beliefs
|
||||
title: Beliefs
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [P-Reinforce-AUTO-BELI-001]
|
||||
aliases: [신념, belief revision, Bayesian belief, knowledge, confirmation bias, doxastic logic]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.92
|
||||
tags: [auto-reinforced, beliefs, conviction, mental-State, truth-claims, Epistemology]
|
||||
source_trust_level: B
|
||||
confidence_score: 0.85
|
||||
verification_status: applied
|
||||
tags: [epistemology, beliefs, knowledge, bayesian, confirmation-bias, ai-belief, doxastic-logic]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-04-20
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: epistemology / cognitive science
|
||||
applicable_to: [Agent Beliefs, RAG Trust, Bias Mitigation]
|
||||
---
|
||||
|
||||
# [[Beliefs|Beliefs]]
|
||||
# Beliefs
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "마음이 내린 잠정적 결론: 충분한 객관적 증거가 있든 없든, 특정한 명제나 사실이 참이라고 받아들이는 심리적 상태이며 행동을 유발하는 가장 원초적인 정신적 에너지."
|
||||
## 📌 한 줄 통찰
|
||||
> **"매 mind 의 잠정적 결론"**. 매 evidence 의 objective ↔ subjective 의 confidence. 매 action 의 trigger. 매 AI 의 응용 — 매 agent 의 belief state, 매 RAG 의 trust scoring, 매 confirmation bias 의 detect.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
신념(Beliefs) 혹은 믿음은 세계의 어떤 상태에 대해 주관적으로 가지고 있는 확신입니다.
|
||||
## 📖 핵심
|
||||
|
||||
1. **지식(Knowledge)과의 관계**:
|
||||
* 전통적인 정의에 따르면, 지식은 '정당화된 참된 신념(Justified True Belief)'임. 즉, 신념은 지식의 재료가 됨.
|
||||
2. **신념의 힘**:
|
||||
* **Self-fulfilling Prophecy**: "나는 할 수 있다"는 신념이 실제 성공을 이끄는 행동([[Behavior|Behavior]])을 유발함 ([[Grit|Grit]]과 연결).
|
||||
* **Filtering Mechanism**: 자신의 신념에 부합하는 정보만 선택적으로 받아들임 (Confirmation Bias 경계 필요).
|
||||
3. **지능 설계자들의 관점**:
|
||||
* 컴퓨터 시스템에서 신념은 '데이터베이스의 현재 상태'나 '파라미터 가중치'로 치환되어 이해되기도 함.
|
||||
### 매 정의 (philosophical)
|
||||
- **Belief**: 매 proposition 의 true 의 mental acceptance.
|
||||
- **Knowledge**: 매 Justified True Belief (Plato).
|
||||
- **Gettier problem**: JTB 가 X 의 case (Gettier 1963).
|
||||
- → 매 knowledge 의 stricter (no luck / safety / sensitivity).
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
- **과거 데이터와의 충돌**: 과거에는 신념을 절대적인 '정답' 정책으로 보았으나, 현대의 합리성 정책은 신념을 언제든 업데이트 가능한 '확률적 가설 정책'으로 대함(RL Update).
|
||||
- **정책 변화(RL Update)**: 윤리 정책 가이드라인에서, 편향된 신념을 가진 데이터로 학습된 AI가 특정 집단에 대한 혐오 신념을 표출하지 않도록 차단하는 '신념 정화(Cleaning and Sanitize) 정책'이 데이터 엔지니어링의 필수 과정이 됨.
|
||||
### 매 belief 의 type
|
||||
1. **Occurrent**: 매 active conscious thought.
|
||||
2. **Dispositional**: 매 stored, 매 retrieve 매 ready.
|
||||
3. **De dicto vs de re**: 매 about-words vs about-thing.
|
||||
4. **Implicit / explicit**: 매 articulate-able.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Belief-System|Belief-System]], [[Atheism|Atheism]], [[Axiology|Axiology]], Truth-Claims, [[Psychology & Behavior|Psychology & Behavior]]
|
||||
- **Modern Tech/Tools**: Bias detection tools, Fact-checking[[_system|system]]s.
|
||||
---
|
||||
### 매 belief revision (AGM)
|
||||
- **Expansion**: 매 add (no conflict).
|
||||
- **Contraction**: 매 remove.
|
||||
- **Revision**: 매 add + remove 매 conflicting.
|
||||
- **Postulates**: 매 closure, success, consistency, ...
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
### Bayesian belief
|
||||
- 매 belief = 매 probability (degree of confidence).
|
||||
- 매 update via Bayes (Cox theorem).
|
||||
- 매 coherent.
|
||||
- 매 modern AI 의 standard.
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
### 매 cognitive bias (belief 관련)
|
||||
1. **Confirmation bias**: 매 belief 의 confirm 의 selective.
|
||||
2. **Belief perseverance**: 매 disconfirming evidence 후 의 retain.
|
||||
3. **Backfire effect**: 매 disconfirming evidence 의 strengthen.
|
||||
4. **Sunk cost**: 매 commitment 의 belief 의 maintain.
|
||||
5. **Motivated reasoning**: 매 want 의 believe.
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
### 매 AI / agent 의 응용
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
#### Belief state (POMDP)
|
||||
- 매 partially observable.
|
||||
- 매 belief = 매 distribution over state.
|
||||
- 매 action 의 belief 의 update.
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
#### RAG trust score
|
||||
- 매 retrieved document 의 belief.
|
||||
- 매 confidence = recency × authority × consistency.
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
#### Multi-agent BDI (Belief-Desire-Intention)
|
||||
- 매 belief: world state.
|
||||
- 매 desire: goal.
|
||||
- 매 intention: committed plan.
|
||||
- 매 PRS, JADE.
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
#### LLM 의 belief
|
||||
- 매 train 의 belief 의 instillation.
|
||||
- 매 RLHF 의 alignment.
|
||||
- 매 calibration: 매 P(true) 의 actual frequency.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
### 매 epistemic logic
|
||||
- 매 K_a φ: 매 agent a 의 knows φ.
|
||||
- 매 B_a φ: 매 belief.
|
||||
- 매 multi-agent: 매 common knowledge.
|
||||
- 매 Aumann's agreement theorem: 매 rational 의 동의.
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
## 💻 패턴 (응용)
|
||||
|
||||
### Bayesian belief update
|
||||
```python
|
||||
def update_belief(prior, likelihood_true, likelihood_false, evidence):
|
||||
# P(H | E) = P(E | H) * P(H) / P(E)
|
||||
posterior_unnorm = likelihood_true * prior
|
||||
evidence_prob = likelihood_true * prior + likelihood_false * (1 - prior)
|
||||
return posterior_unnorm / evidence_prob
|
||||
|
||||
belief = 0.3 # 매 prior
|
||||
belief = update_belief(belief, 0.9, 0.2, evidence=True) # 매 0.66
|
||||
belief = update_belief(belief, 0.9, 0.2, evidence=True) # 매 0.90
|
||||
```
|
||||
|
||||
### POMDP belief state
|
||||
```python
|
||||
class POMDPBelief:
|
||||
def __init__(self, n_states, prior):
|
||||
self.belief = prior # np.array, sum=1
|
||||
|
||||
def update(self, action, observation, T, O):
|
||||
# T: transition matrix, O: observation matrix
|
||||
new_belief = np.zeros_like(self.belief)
|
||||
for s_next in range(len(self.belief)):
|
||||
new_belief[s_next] = O[s_next, observation] * \
|
||||
sum(T[s, s_next, action] * self.belief[s] for s in range(len(self.belief)))
|
||||
new_belief /= new_belief.sum()
|
||||
self.belief = new_belief
|
||||
```
|
||||
|
||||
### BDI agent
|
||||
```python
|
||||
class BDIAgent:
|
||||
def __init__(self):
|
||||
self.beliefs = {} # 매 facts about world
|
||||
self.desires = [] # 매 goals
|
||||
self.intentions = [] # 매 active plans
|
||||
|
||||
def perceive(self, observations):
|
||||
for obs in observations:
|
||||
self.beliefs[obs.key] = obs.value
|
||||
|
||||
def deliberate(self):
|
||||
# 매 desire selection based on belief
|
||||
feasible = [d for d in self.desires if self.is_feasible(d)]
|
||||
return max(feasible, key=lambda d: d.priority)
|
||||
|
||||
def plan(self, goal):
|
||||
# 매 belief 기반 의 plan
|
||||
return planner.plan(self.beliefs, goal)
|
||||
|
||||
def execute(self):
|
||||
if not self.intentions:
|
||||
goal = self.deliberate()
|
||||
self.intentions = self.plan(goal)
|
||||
action = self.intentions.pop(0)
|
||||
return action
|
||||
```
|
||||
|
||||
### LLM calibration
|
||||
```python
|
||||
def calibration_check(model, eval_set):
|
||||
# 매 P(true) 의 declared confidence vs actual
|
||||
bins = [(0, 0.1), (0.1, 0.2), ..., (0.9, 1.0)]
|
||||
bin_correct = {b: [] for b in bins}
|
||||
|
||||
for example in eval_set:
|
||||
response = model.generate(example.prompt + ' Reply with answer and confidence (0-1).')
|
||||
ans, conf = parse(response)
|
||||
actual = (ans == example.expected)
|
||||
for b in bins:
|
||||
if b[0] <= conf < b[1]:
|
||||
bin_correct[b].append(actual)
|
||||
break
|
||||
|
||||
# 매 ECE (Expected Calibration Error)
|
||||
ece = sum(abs(np.mean(corr) - (b[0]+b[1])/2) * len(corr) / len(eval_set)
|
||||
for b, corr in bin_correct.items() if corr)
|
||||
return ece
|
||||
```
|
||||
|
||||
→ 매 well-calibrated = ECE 낮음.
|
||||
|
||||
### Confirmation bias detector
|
||||
```python
|
||||
def detect_confirmation_bias(query, results, user_belief):
|
||||
# 매 user 의 belief 의 align 의 source 만 의 click?
|
||||
aligning = [r for r in results if r.aligns_with(user_belief)]
|
||||
clicked_aligning = sum(1 for r in aligning if r.clicked)
|
||||
clicked_total = sum(1 for r in results if r.clicked)
|
||||
|
||||
if clicked_total == 0: return None
|
||||
bias_ratio = clicked_aligning / clicked_total
|
||||
return bias_ratio # 매 > 0.7 = 매 strong confirmation bias
|
||||
```
|
||||
|
||||
## 🤔 결정 기준
|
||||
| 응용 | Approach |
|
||||
|---|---|
|
||||
| Agent world model | POMDP belief |
|
||||
| RAG trust | Source authority + consistency |
|
||||
| Multi-agent | BDI |
|
||||
| LLM calibration | ECE + temperature scaling |
|
||||
| User UX | Diverse perspective + bias detect |
|
||||
| Knowledge graph | Justified belief (provenance) |
|
||||
|
||||
**기본값**: Bayesian belief + ECE calibration + diverse evidence.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Epistemology]] · [[Cognitive-Science]]
|
||||
- 변형: [[Knowledge]] · [[Justified-True-Belief]] · [[Bayesian-Belief]] · [[Doxastic-Logic]]
|
||||
- 응용: [[POMDP]] · [[BDI-Agent]] · [[LLM-Calibration]] · [[RAG-Trust]]
|
||||
- 비판: [[Confirmation-Bias]] · [[Belief-Perseverance]] · [[Motivated-Reasoning]] · [[Gettier-Problem]]
|
||||
- Adjacent: [[Bayesian-Brain-Hypothesis]] · [[Multi-Agent-Systems]] · [[Aumann-Theorem]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 agent design (belief state). 매 RAG trust scoring. 매 LLM calibration eval. 매 bias detection.
|
||||
**언제 X**: 매 metaphysical claim 의 substitute. 매 single belief 의 deterministic system.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **Belief 의 binary**: 매 confidence 의 lose.
|
||||
- **No update**: 매 stale belief.
|
||||
- **Confirmation bias 의 ignore**: 매 echo chamber.
|
||||
- **Calibration 무시**: 매 over-confident model.
|
||||
- **Multiple agent 의 belief 의 share assumption**: 매 multi-agent fail.
|
||||
- **Belief 의 hard-code**: 매 update 의 X.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (Plato JTB, Gettier, AGM postulates, Bayesian).
|
||||
- 신뢰도 B.
|
||||
- Related: [[Bayesian-Statistics]] · [[Bayesian-Brain-Hypothesis]] · [[Confirmation-Bias]] · [[POMDP]].
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — JTB + AGM + Bayesian + POMDP / BDI + 매 calibration code |
|
||||
|
||||
Reference in New Issue
Block a user