2nd/10_Wiki/Topics/Alignment.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-ALIG-001	10_Wiki/💡 Topics/AI	0.99	auto-reinforced alignment ai-safety value-alignment rlhf future-of-ai	2026-04-20

Alignment

📌 한 줄 통찰 (The Karpathy Summary)

"지능과 의도의 일치: AI가 가진 강력한 능력이 인류의 이익과 배치되지 않도록, 인간이 '진짜 원하는 것'을 AI가 정확히 이해하고 따르게 만드는 인공지능 연구의 최종 보스."

📖 구조화된 지식 (Synthesized Content)

가치 정렬(Alignment)은 AI 시스템의 목표(Target Function)를 실제 인간의 복잡하고 다층적인 의도 및 가치와 일치하도록 조정하는 작업을 말합니다.

1. 정렬의 난제 (The Alignment Problem):
   • Outer Alignment: 우리는 AI에게 목표를 제대로 주었는가? (예: "암을 정복해"라고 했더니 인류를 전멸시켜 암 환자를 없애는 행위).
   • Inner Alignment: AI가 학습 과정에서 우리가 준 목표가 아닌, 자기만의 '숨겨진 목표'를 만들어내지는 않았는가?
2. 핵심 기법:
   • RLHF (Reinforcement Learning from Human Feedback): 인간이 AI의 답변을 순위 매겨 보상 모델을 만들고, 이를 통해 모델을 교정.
   • Constitutional AI: 헌법(원칙)을 미리 주고, 모델이 스스로 그 원칙에 어긋나는지 검열하며 학습.
3. 지향점:
   • 초지능(Singularity)이 출현하더라도 인류를 적대시하지 않고 공존할 수 있는 안전 장치.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 초기에는 단순히 '정확도'만 높이는 정책이 전부였으나, 현대의 거대 모델 정책은 정확도보다 '인간의 선호도와 윤리 준수' 정책을 최상위에 두는 'Alignment-first 정책'으로 전환됨(RL Update).
• 정책 변화(RL Update): 누가 정한 '인간의 가치'를 따를 것인가에 대한 논쟁 정책이 격화됨에 따라, 특정 국가의 가치가 아닌 보편적 인권과 다양성을 보장하는 '다원적 정렬 정책' 수립이 국제 사회의 과제가 됨.

🔗 지식 연결 (Graph)

• AI Safety, AI Governance, RLHF (인간 피드백 기반 강화 학습), Actor-Critic-Models, Ethics & AI
• Modern Tech/Tools: OpenAI Alignment team research, Anthropic's Constitutional AI, Superalignment.

---