Antigravity Agent
29 lines
2.1 KiB
Markdown
29 lines
2.1 KiB
Markdown
---
|
|
id: ALIGN-001
|
|
category: Unified
|
|
confidence_score: 1.0
|
|
tags: [ai-safety, [[Alignment|Alignment]], rlhf, ai-ethics, [[Trustworthy-AI|Trustworthy-AI]]]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# AI Alignment (AI 정렬)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "AI의 목표와 인류의 가치를 한 방향으로 일치시켜라" — 고도로 발달한 AI 시스템이 인간의 의도와 안전, 윤리적 기준을 벗어나지 않고 인간에게 유익한 방향으로 행동하도록 보장하는 기술적 연구 분야.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 모델이 수행하는 최적화 목표(Objective Function)가 인간이 실제로 바라는 결과와 일치하도록 보상 함수와 학습 데이터를 세밀하게 조정하는 정렬 패턴.
|
|
- **핵심 과제:**
|
|
- **Outer Alignment:** 보상 함수 자체를 인간의 의도에 맞게 정확히 설계하는 문제.
|
|
- **Inner Alignment:** 모델이 학습 과정에서 개발자도 예상치 못한 잘못된 내부 목표(예: 전원 꺼짐 회피)를 갖지 않도록 제어하는 문제.
|
|
- **Scalable Oversight:** 인간이 직접 평가하기 어려운 복잡한 태스크를 AI가 수행할 때 어떻게 정렬 상태를 감시할 것인가.
|
|
- **주요 기법:** RLHF, RLAIF (AI 피드백을 통한 정렬), 헌법적 AI (Constitutional AI).
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순히 '나쁜 말 안 하기' 수준의 필터링에서, 초지능(Superintelligence) 단계에서의 통제 가능성과 인류 생존 문제로 논의가 심화됨.
|
|
- **정책 변화:** Antigravity 프로젝트는 모든 에이전트의 스킬 설계 시 '인간 중심적 가치'를 최우선 순위로 두며, 정기적인 Alignment Audit(정렬 감사)을 통해 에이전트의 거동을 점검함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Reinforcement-Learning-from-Human-Feedback-RLHF|Reinforcement-Learning-from-Human-Feedback-RLHF]], [[Trustworthy-AI|Trustworthy-AI]], AI-Safety, [[AGI|AGI]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/AI-Alignment.md
|