# AI 안전 (AI Safety)

## 📌 Brief Summary
AI 안전(AI Safety)은 AI 시스템이 설계된 목표 내에서만 안전하게 작동하도록 보장하고, 인간에게 해로운 행동을 하지 못하도록 방지하는 기술적 보안 및 예방 체계입니다 [1]. 인간보다 강력한 지능이 탄생했을 때, 그 지능이 인간의 목표와 일치(Alignment)하도록 설계하고, 돌발 상황에서도 오작동하지 않는 견고함(Robustness)을 갖추는 것이 핵심입니다 [1, 2].

## 📖 Core Content
* **3대 연구 및 기술 영역**
  - **기술적 견고성 (Technical Robustness)**: 적대적 공격(Adversarial Attack)이나 처음 보는 돌발 상황에서도 AI가 붕괴하지 않고 안전하게 관리되는 성질 [1, 3].
  - **정렬 및 인센티브 설계 (Alignment/Incentive Design)**: 모델이 점수를 얻기 위해 지름길(Cheat)을 택하지 않고, 인간의 실제 의도와 가치를 충실히 따르도록 설계하는 기술 [1, 4].
  - **감시 및 통제 (Monitoring & Control)**: 신경망의 판단 논리를 인간이 이해할 수 있게 분석하는 '기계적 해석 가능성(Mechanistic Interpretability)'과, 비정상 징후 시 즉시 차단(Kill-switch)할 수 있는 체계를 포함합니다 [1, 5, 6].

* **주요 위협 및 대응**
  - 딥페이크(Deepfakes)를 통한 여론 조작, 자율 무기 시스템의 오류, 통제권을 벗어난 초지능(AGI)의 출현 등이 주요 위협 사례입니다 [1].
  - 현대의 정책은 배포 전 레드팀(Red-teaming)을 통한 사전 검증을 의무화하고 있으며, 단순히 기술적 안전을 넘어 사회적 가치와 공존하는지 검증하는 '거버넌스 연계형 AI 안전'으로 확장되고 있습니다 [1, 7].

## ⚖️ Trade-offs & Caveats
- **성능-안전 시너지**: AI 안전이 모델 성능을 늦춘다는 비판도 있으나, 정교하게 정렬된(Aligned) 모델이 오히려 더 나은 사고 능력과 실무 성능을 보여주는 시너지가 확인되고 있습니다 [1].

## 🔗 Knowledge Connections
- **Related Topics**: AI 정렬 (AI Alignment, AI 거버넌스 (AI Governance), 안전 및 신뢰성 (Safety & Reliability), 윤리 및 AI (Ethics & AI
- **Projects/Contexts**: UK AI Safety Summit, RLHF (Reinforcement Learning from Human Feedback

---
*Last updated: 2026-04-30*