docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links

This commit is contained in:
Antigravity Agent
2026-05-02 09:18:34 +09:00
parent c84dcb8371
commit 6445fcc05b
13150 changed files with 55394 additions and 100862 deletions
@@ -6,7 +6,7 @@ tags: [auto-reinforced, dpo, direct-preference-optimization, llm-alignment, rein
last_reinforced: 2026-04-20
---
# [[DPO (Direct Preference Optimization)]]
# [[DPO (Direct Preference Optimization)|DPO (Direct Preference Optimization)]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "복잡한 보상 모델은 가라: 인간의 선호도를 맞추기 위해 별도의 리워드 모델을 만들고 강화학습(PPO)을 돌리는 복잡한 과정 대신, 답변 쌍(Pair) 중 무엇이 좋은지 직접 알려줌으로써 모델을 한 번에 정렬하는 효율적인 혁신."
@@ -27,6 +27,6 @@ last_reinforced: 2026-04-20
- **정책 변화(RL Update)**: DPO 이후 이를 개선한 ORPO, SimPO, IPO 등 '직접 최적화 파생 정책'들이 쏟아져 나오며, 데이터 효율을 극대화하고 모델의 거부(Refusal) 경향을 조절하는 정책이 정밀화됨.
## 🔗 지식 연결 (Graph)
- [[RLHF (인간 피드백 기반 강화 학습)]], [[Constitutional AI (헌법 AI)]], [[Alignment]], [[Optimization]], [[Policy-Optimization]]
- [[RLHF (인간 피드백 기반 강화 학습)|RLHF (인간 피드백 기반 강화 학습)]], [[Constitutional AI (헌법 AI)|Constitutional AI (헌법 AI)]], [[Alignment|Alignment]], [[Optimization|Optimization]], [[Policy-Optimization|Policy-Optimization]]
- **Modern Tech/Tools**: TRL (Transformer Reinforcement Learning) library, Llama-3 alignment, Axolotl.
---