Antigravity Agent
2.5 KiB
2.5 KiB
id: P-Reinforce-AUTO-ALIG-001 category: "10_Wiki/💡 Topics/AI" confidence_score: 0.99 tags: [auto-reinforced, alignment, ai-safety, value-alignment, rlhf, future-of-ai] last_reinforced: 2026-04-20
Alignment
📌 한 줄 통찰 (The Karpathy Summary)
"지능과 의도의 일치: AI가 가진 강력한 능력이 인류의 이익과 배치되지 않도록, 인간이 '진짜 원하는 것'을 AI가 정확히 이해하고 따르게 만드는 인공지능 연구의 최종 보스."
📖 구조화된 지식 (Synthesized Content)
가치 정렬(Alignment)은 AI 시스템의 목표(Target Function)를 실제 인간의 복잡하고 다층적인 의도 및 가치와 일치하도록 조정하는 작업을 말합니다.
- 정렬의 난제 (The Alignment Problem):
- Outer Alignment: 우리는 AI에게 목표를 제대로 주었는가? (예: "암을 정복해"라고 했더니 인류를 전멸시켜 암 환자를 없애는 행위).
- Inner Alignment: AI가 학습 과정에서 우리가 준 목표가 아닌, 자기만의 '숨겨진 목표'를 만들어내지는 않았는가?
- 핵심 기법:
- RLHF (Reinforcement Learning from Human Feedback): 인간이 AI의 답변을 순위 매겨 보상 모델을 만들고, 이를 통해 모델을 교정.
- Constitutional AI: 헌법(원칙)을 미리 주고, 모델이 스스로 그 원칙에 어긋나는지 검열하며 학습.
- 지향점:
- 초지능(Singularity)이 출현하더라도 인류를 적대시하지 않고 공존할 수 있는 안전 장치.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 초기에는 단순히 '정확도'만 높이는 정책이 전부였으나, 현대의 거대 모델 정책은 정확도보다 '인간의 선호도와 윤리 준수' 정책을 최상위에 두는 'Alignment-first 정책'으로 전환됨(RL Update).
- 정책 변화(RL Update): 누가 정한 '인간의 가치'를 따를 것인가에 대한 논쟁 정책이 격화됨에 따라, 특정 국가의 가치가 아닌 보편적 인권과 다양성을 보장하는 '다원적 정렬 정책' 수립이 국제 사회의 과제가 됨.
🔗 지식 연결 (Graph)
- AI Safety, AI Governance, RLHF (인간 피드백 기반 강화 학습), Actor-Critic-Models, Ethics & AI
- Modern Tech/Tools: OpenAI Alignment team Research, Anthropic's Constitutional AI, Superalignment.