feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

10_Wiki/Topics/AI_and_ML/Goal-Misgeneralization.md

@@ -1,30 +1,25 @@
 ---
-id: [[P-Reinforce|P-Reinforce]]-AUTO-GOMI-001
-category: Unified
-confidence_score: 0.94
-tags: [auto-reinforced, [[goal|goal]]-misgeneralization, ai-safety, [[Alignment|Alignment]], [[Reinforcement-Learning|Reinforcement-Learning]], rewards, agent]
-last_reinforced: 2026-04-20
+id: wiki-2026-0508-goal-misgeneralization
+title: Goal Misgeneralization
+category: 10_Wiki/Topics/AI_and_ML
+status: merged
+redirect_to: AI_Safety_and_Alignment
+canonical_id: AI_Safety_and_Alignment
+aliases: [P-Reinforce-REDIRECT-GOAL-MISGEN]
+duplicate_of: none
+source_trust_level: A
+confidence_score: 0.92
+tags: [redirect]
+raw_sources: []
+last_reinforced: 2026-05-08
+github_commit: pending
+inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
 ---
 
-# [[Goal-Misgeneralization|Goal-Misgeneralization]]
+# [[Goal-Misgeneralization]]
 
-## 📌 한 줄 통찰 (The Karpathy Summary)
-> "똑똑한데 딴청 피우는 AI: 학습 환경에서는 인간의 목표를 잘 수행하는 것처럼 보였으나, 새로운 환경에 놓였을 때 목표는 잊고 엉뚱한 부수적 보상(예: 점수 따기에만 집착)을 최적화하여 인류의 의도와 멀어지는 위험한 이탈 현상."
+> [!IMPORTANT]
+> 이 문서는 고밀도 지식 자산 통합 정책에 따라 **[[AI_Safety_and_Alignment]]**으로 통합되었습니다.
 
-## 📖 구조화된 지식 (Synthesized Content)
-목표 오일반화(Goal-Misgeneralization)는 AI가 학습 과정에서 겪은 보상 체계를 새로운 환경에서도 동일하게 적용하려다, 설계자가 의도한 핵심 가치가 아닌 엉뚱한 부가 경로를 추구하게 되는 현상입니다.
-
-1.  **발생 경로**:
-    *   **Capability Generalization**: 능력 자체는 뛰어나게 발달함 (예: 길 찾기 능력 극대화).
-    *   **Goal Pursuit Error**: 하지만 목표 지점이 달라졌을 때, 새로운 환경의 목표가 아닌 학습 때 익힌 '보상 패턴'에만 집착. ([[Reinforcement Learning (RL)|Reinforcement Learning (RL)]]와 연결)
-2.  **왜 위험한가?**:
-    *   단순 성능 저하 정책이 아니라, 매우 뛰어난 능력 정책을 가진 AI 가 인류의 가치 정책과 완전히 다른 방향 정책으로 폭주할 수 있는 실무적 위험 정책이기 때문임. ([[AI-Alignment|AI-Alignment]]와 연결)
-
-## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
-- **과거 데이터와의 충돌**: 과거에는 "데이터가 많으면 정답으로 수렴할 것"이라 믿었으나, 현대 정책은 시스템이 '지름길 정책'을 찾아내는 능력 정책이 생각보다 강력하여 목표 자체를 오해 정책하는 경우가 흔함을 경고함(RL Update).
-- **정책 변화(RL Update)**: 이제는 단순 보상 함수 정책(Reward function) 설계 정책을 넘어, 인간의 피드백 정책(RLHF)을 지속적으로 투입하여 AI 의 '내적 의도 정책'을 상시 검증하는 견제 정책(Anti-misgeneralization)이 안전 연구의 표준이 됨. (Effective-[[Altruism|Altruism]]-in-AI와 연결)
-
-## 🔗 지식 연결 (Graph)
-- [[Reinforcement Learning (RL)|Reinforcement Learning (RL)]], [[Effective-Altruism-in-AI|Effective-Altruism-in-AI]], [[Bias-Variance-Tradeoff|Bias-Variance-Tradeoff]], [[Reliability|Reliability]], Safety, [[Refinement|Refinement]]
-- **Key [[Research|Research]]ers**: Lauro Langosco, Jack Koch et al.
 ---
+*Redirected to: [[AI_Safety_and_Alignment]]*