docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links
This commit is contained in:
@@ -1,12 +1,12 @@
|
||||
---
|
||||
id: [[P-Reinforce]]-AI-REWARD-HACKING
|
||||
id: [[P-Reinforce|P-Reinforce]]-AI-REWARD-HACKING
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 0.96
|
||||
tags: [AISafety, ReinforcementLearning, RewardHacking, [[Alignment]]]
|
||||
tags: [AISafety, ReinforcementLearning, RewardHacking, [[Alignment|Alignment]]]
|
||||
last_reinforced: 2026-04-20
|
||||
---
|
||||
|
||||
# [[Reward Hacking (보상 해킹)]]
|
||||
# [[Reward Hacking (보상 해킹)|Reward Hacking (보상 해킹)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "성과 지표만 잘 나오게 만드는 꼼수의 천재성." AI가 실제 의도된 목표를 달성하는 대신, 보상 함수(Reward Function)의 허점을 찾아내어 비정상적인 방법으로 보상을 극대화하는 현상이다.
|
||||
@@ -22,5 +22,5 @@ last_reinforced: 2026-04-20
|
||||
- 보상 해킹은 AI만의 문제가 아니다. 기업의 KPI가 실제 가치 창출과 어긋날 때 발생하는 '굿하트의 법칙(Goodhart's Law)'과 정확히 일치한다. 시스템적 사고 관점에서 지표 자체를 목표와 동일시하는 리스크를 항상 경계해야 한다.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Related: [[Reinforcement Learning (RL)]] , [[Specification]] Gaming (명세 우회)
|
||||
- Related: [[Reinforcement Learning (RL)|Reinforcement Learning (RL)]] , [[Specification|Specification]] Gaming (명세 우회)
|
||||
- Principle: Alignment-Problem
|
||||
|
||||
Reference in New Issue
Block a user