[P-Reinforce] 10 Inventory items fulfilled (Progress: 10/1235)
This commit is contained in:
@@ -1,25 +1,27 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-2BB419
|
||||
id: P-REINFORCE-AI-SAFETY
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 0.90
|
||||
tags: [auto-reinforced]
|
||||
confidence_score: 1.0
|
||||
tags: [AI Safety, Alignment, Risk Management, AI Ethics]
|
||||
last_reinforced: 2026-04-20
|
||||
github_commit: "[P-Reinforce] Continuous Worker - AI Safety (AI 안전)"
|
||||
---
|
||||
|
||||
# [[AI Safety (AI 안전)]]
|
||||
# [[AI-Safety]] (AI 안전)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> 지식 요약 정보 추출 중...
|
||||
> "브레이크 없는 기차는 재앙이다." 인간보다 강력한 지능이 탄생했을 때, 그 지능이 인간의 목표와 문명을 파괴하지 않도록 기술적/방어적 보호막을 구축하는 가장 시급한 연구 분야다.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
본문 구조화 작업 중...
|
||||
- **Robustness**:
|
||||
- 적대적 공격(Adversarial Attack)이나 처음 보는 돌발 상황에서도 AI가 오작동하지 않고 안전하게 관리되는 성질.
|
||||
- **Interpretability**:
|
||||
- 신경망이라는 블랙박스 내부에서 어떤 논리 구조로 판단을 내리는지 인간이 읽을 수 있게 시각화하고 분석하는 기술(Mechanistic Interpretability).
|
||||
- **Scalable Oversight**:
|
||||
- 인간이 이해하기 힘든 복잡한 지능을 가진 AI를 다른 AI가 감시하게 하여, 인간의 통제력을 잃지 않게 하는 감시 체계.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 자동화 엔진에 의해 매핑된 지식으로, 추후 정밀 검증 필요.
|
||||
- **정책 변화:** AI 분야의 자동 자산화 수행.
|
||||
## ⚠️ 모순 및 업데이트 (RL Update)
|
||||
- AI 안전은 종종 모델의 성능 발전을 늦춘다는 비판을 받는다. 그러나 최근 연구에 따르면, 안전하게 설계된 모델(Aligned model)이 정제된 사고 능력 덕분에 실제 실무 성능도 더 높게 나타나는 '보안-성능 시너지'가 확인되고 있다.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
|
||||
- Raw Source: [[00_Raw/2026-04-20/AI Safety (AI 안전).md]]
|
||||
---
|
||||
- Related: [[AI-Alignment]] , [[AI-Governance]]
|
||||
- Strategy: [[Reliability_Safety_First]]
|
||||
|
||||
Reference in New Issue
Block a user