[Wiki] Major consolidation and cleanup of AI and Dev topics
This commit is contained in:
@@ -1,27 +0,0 @@
|
||||
---
|
||||
id: [[P-Reinforce]]-AI-SAFETY
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [[[AI Safety]], [[Alignment]], Risk [[Management]], AI Ethics]
|
||||
last_reinforced: 2026-04-20
|
||||
---
|
||||
|
||||
# AI-Safety (AI 안전)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "브레이크 없는 기차는 재앙이다." 인간보다 강력한 지능이 탄생했을 때, 그 지능이 인간의 목표와 문명을 파괴하지 않도록 기술적/방어적 보호막을 구축하는 가장 시급한 연구 분야다.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **[[Robustness]]**:
|
||||
- 적대적 공격(Adversarial Attack)이나 처음 보는 돌발 상황에서도 AI가 오작동하지 않고 안전하게 관리되는 성질.
|
||||
- **[[Interpretability]]**:
|
||||
- 신경망이라는 블랙박스 내부에서 어떤 논리 구조로 판단을 내리는지 인간이 읽을 수 있게 시각화하고 분석하는 기술(Mechanistic Interpretability).
|
||||
- **Scalable Oversight**:
|
||||
- 인간이 이해하기 힘든 복잡한 지능을 가진 AI를 다른 AI가 감시하게 하여, 인간의 통제력을 잃지 않게 하는 감시 체계.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (RL Update)
|
||||
- AI 안전은 종종 모델의 성능 발전을 늦춘다는 비판을 받는다. 그러나 최근 연구에 따르면, 안전하게 설계된 모델(Aligned model)이 정제된 사고 능력 덕분에 실제 실무 성능도 더 높게 나타나는 '보안-성능 시너지'가 확인되고 있다.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Related: [[AI-Alignment]] , AI-Governance
|
||||
- [[Strategy]]: [[Reliability_Safety_First]]
|
||||
Reference in New Issue
Block a user