[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
+123
-41
@@ -2,65 +2,147 @@
|
||||
id: wiki-2026-0508-cipomdps
|
||||
title: CIPOMDPs
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [PREI-AUTO-CIPOMDP-001]
|
||||
aliases: [CI-POMDP, Communicative Interactive POMDP, Cooperative Inverse POMDP]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.92
|
||||
tags: [auto-reinforced, CIPOMDPs, decision-theory, intentionality, multi-agent-systems, conversational-AI]
|
||||
confidence_score: 0.85
|
||||
verification_status: applied
|
||||
tags: [rl, pomdp, multi-agent, alignment]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-05
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: python
|
||||
framework: pomdp-py/pettingzoo
|
||||
---
|
||||
|
||||
# [[CIPOMDPs|대화형 부분 관찰 마르코프 결정 과정 (Conversational Interactive POMDPs)]]
|
||||
# CIPOMDPs
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "상대방이 무슨 생각을 하는지 모르는 불확실성 속에서도, 대화의 맥락과 의도를 확률적으로 추론하여 최적의 답변을 찾아내는 전략적 소통의 수학적 프레임워크."
|
||||
## 매 한 줄
|
||||
> **"매 Cooperative Inverse Partially Observable MDP — 매 human + agent 의 shared reward, 매 reward function 의 hidden parameter."** 매 Hadfield-Menell et al. (CIRL 2016) 의 POMDP extension — 매 assistance games, alignment formalization 의 backbone — 매 2026 에 LLM agent assistance 의 theoretical frame.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
CIPOMDPs는 부분적으로 관찰 가능한 환경에서 여러 행위자(Agent)가 상호작용하는 모델인 POMDP를 대화 상황에 특화하여 확장한 것입니다.
|
||||
## 매 핵심
|
||||
|
||||
1. **의도 추론과 재귀적 모델링**:
|
||||
* 화자는 청자의 지식 상태와 의도를 추론하고, 청자 역시 화자의 의도를 해석함. 이 '나는 네가 ...라고 생각할 것이라고 생각한다'는 식의 재귀적 의도 파악 과정을 모델링함.
|
||||
2. **불완전한 정보 하의 의사결정**:
|
||||
* 상대방의 마음속을 직접 볼 수 없으므로(Partial Observation), 과거의 대화 이력과 맥락을 바탕으로 상대방의 믿음 상태(Belief State)를 확률적으로 갱신하며 가장 적절한 화행([[Pragmatics|Speech Act]])을 선택.
|
||||
3. **대화의 목표 최적화**:
|
||||
* 단순한 문장 생성을 넘어, 정보 전달 효율성 극대화, 관계 유지, 설득 등 대화의 궁극적 목표(Reward)를 달성하기 위한 최적의 정책(Policy)을 수립.
|
||||
### 매 정의
|
||||
- **State** s ∈ S, **Actions** (a^H, a^R) for human + robot.
|
||||
- **Reward parameter** θ ∈ Θ — 매 human 의 known, robot 의 unknown.
|
||||
- **Reward** r(s, a^H, a^R; θ) — 매 shared.
|
||||
- **Observations** o^H, o^R — 매 partial.
|
||||
- **Goal**: maximize E[Σ r(s, a^H, a^R; θ)] — 매 robot 의 θ 의 inference + acting.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
- **계산 복잡도의 폭발 (RL Update)**: 재귀적 의도 추론은 계산량이 기하급수적으로 늘어나는 '상태 공간의 저주' 문제를 안고 있음. 현대 AI는 이를 엄밀한 수학적 계산보다는 LLM의 방대한 패턴 학습을 통한 '직관적 추론'으로 근사(Approximation)하여 해결하는 추세임.
|
||||
- **Antigravity 정책**: 에이전트의 대화 전략은 단순히 다음 단어를 예측하는 것을 넘어, 사용자의 숨은 의도를 파악하고 지식의 결핍을 채워주는 CIPOMDP적 사고를 지향함.
|
||||
### 매 properties
|
||||
- **Active learning**: 매 robot 의 information-gathering actions.
|
||||
- **Off-switch problem**: 매 robot 의 uncertainty 의 corrigibility 의 induce.
|
||||
- **Reward hacking immunity** (in theory): 매 θ unknown → 매 proxy 의 over-optimize 의 X.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Pragmatics|Pragmatics]], [[Conversational-Maxims|Conversational-Maxims]], [[Decision-Theory|Decision-Theory]], [[Reinforcement-Learning|Reinforcement-Learning]]
|
||||
- **Raw Source**: Datacollector_MAC/out_wiki/대화형 부분 관찰 마르코프 결정 과정 (CIPOMDPs).md
|
||||
---
|
||||
### 매 응용
|
||||
1. Assistance games (cleaning, cooking robot).
|
||||
2. RLHF formalization — 매 preference 의 reward 의 evidence.
|
||||
3. Multi-agent communication (CIPOMDPs with messages).
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
## 💻 패턴
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
### CIPOMDP belief update
|
||||
```python
|
||||
import numpy as np
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
def update_theta_belief(b_theta, s, a_H, theta_grid, beta=1.0):
|
||||
# Boltzmann human: P(a_H | s, theta) ∝ exp(beta * Q*(s, a_H; theta))
|
||||
likelihoods = np.array([
|
||||
np.exp(beta * Q_star(s, a_H, theta)) /
|
||||
sum(np.exp(beta * Q_star(s, a, theta)) for a in actions_H)
|
||||
for theta in theta_grid
|
||||
])
|
||||
posterior = b_theta * likelihoods
|
||||
return posterior / posterior.sum()
|
||||
```
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
### Robot policy (expected utility over θ)
|
||||
```python
|
||||
def robot_action(s, b_theta, theta_grid, gamma=0.95):
|
||||
# Pick a^R maximizing expected return under belief
|
||||
best_a, best_eu = None, -np.inf
|
||||
for a_R in actions_R:
|
||||
eu = sum(
|
||||
b * V_pi(s, a_R, theta, gamma)
|
||||
for b, theta in zip(b_theta, theta_grid)
|
||||
)
|
||||
if eu > best_eu:
|
||||
best_a, best_eu = a_R, eu
|
||||
return best_a
|
||||
```
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
### Off-switch game
|
||||
```python
|
||||
def off_switch_decision(b_theta, theta_grid, action_value, switch_off_value=0):
|
||||
# Robot defers to human if uncertain about reward
|
||||
expected_action_value = sum(
|
||||
b * action_value(theta) for b, theta in zip(b_theta, theta_grid)
|
||||
)
|
||||
# If human can correct, deferring dominates when uncertain
|
||||
if expected_action_value < switch_off_value + uncertainty_bonus(b_theta):
|
||||
return "wait_for_human"
|
||||
return "act"
|
||||
```
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
### Active query (info gain)
|
||||
```python
|
||||
def best_query(b_theta, theta_grid, candidate_queries):
|
||||
def expected_info_gain(q):
|
||||
H_prior = entropy(b_theta)
|
||||
H_post = sum(
|
||||
P_response(r, q, theta) * b *
|
||||
entropy(update_theta_belief_query(b_theta, q, r, theta_grid))
|
||||
for theta, b in zip(theta_grid, b_theta)
|
||||
for r in possible_responses
|
||||
)
|
||||
return H_prior - H_post
|
||||
return max(candidate_queries, key=expected_info_gain)
|
||||
```
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
### Boltzmann human model
|
||||
```python
|
||||
def boltzmann_human(s, theta, beta=1.0):
|
||||
qs = np.array([Q_star(s, a, theta) for a in actions_H])
|
||||
probs = np.exp(beta * qs - np.max(beta * qs))
|
||||
return probs / probs.sum()
|
||||
```
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
## 매 결정 기준
|
||||
| 상황 | Approach |
|
||||
|---|---|
|
||||
| Small θ space | Exact belief update + value iteration |
|
||||
| Large θ | Particle filter + POMCP/POMCPOW |
|
||||
| Continuous θ | Variational + amortized inference |
|
||||
| Real human | Boltzmann + irrationality terms (myopia, bias) |
|
||||
| Communication | CIPOMDPs with message channel |
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
**기본값**: 매 particle filter belief + MCTS robot policy.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[POMDP]] · [[Inverse Reinforcement Learning]]
|
||||
- 변형: [[CIRL]] · [[I-POMDP]] · [[Assistance Games]]
|
||||
- 응용: [[RLHF]] · [[Off-Switch Problem]] · [[Corrigibility]]
|
||||
- Adjacent: [[AI Safety and Alignment]] · [[Multi-Agent RL]] · [[Theory of Mind]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 assistant agent design 의 theoretical justification, 매 ambiguity-handling spec.
|
||||
**언제 X**: 매 small tactical decision 의 deployment-ready code.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **Maximize-best-guess θ**: 매 expected utility 의 over Θ — not max-likelihood θ.
|
||||
- **Rational human assumption**: 매 noisy/biased — 매 Boltzmann + bias models.
|
||||
- **Static θ**: 매 preferences drift — 매 non-stationary θ 의 model.
|
||||
- **Ignoring corrigibility**: 매 θ certainty 의 prematurity 의 dangerous.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (Hadfield-Menell et al. NeurIPS 2016, Russell *Human Compatible* 2019).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — formal CIRL/CIPOMDP with code |
|
||||
|
||||
Reference in New Issue
Block a user