2nd/10_Wiki/Topics/AI/AI Safety (AI 안전).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-SAFETY	10_Wiki/💡 Topics/AI	1.0	AI Safety Alignment Risk Management AI Ethics	2026-04-20

AI-Safety (AI 안전)

📌 한 줄 통찰 (The Karpathy Summary)

"브레이크 없는 기차는 재앙이다." 인간보다 강력한 지능이 탄생했을 때, 그 지능이 인간의 목표와 문명을 파괴하지 않도록 기술적/방어적 보호막을 구축하는 가장 시급한 연구 분야다.

📖 구조화된 지식 (Synthesized Content)

• Robustness:
  • 적대적 공격(Adversarial Attack)이나 처음 보는 돌발 상황에서도 AI가 오작동하지 않고 안전하게 관리되는 성질.
• Interpretability:
  • 신경망이라는 블랙박스 내부에서 어떤 논리 구조로 판단을 내리는지 인간이 읽을 수 있게 시각화하고 분석하는 기술(Mechanistic Interpretability).
• Scalable Oversight:
  • 인간이 이해하기 힘든 복잡한 지능을 가진 AI를 다른 AI가 감시하게 하여, 인간의 통제력을 잃지 않게 하는 감시 체계.

⚠️ 모순 및 업데이트 (RL Update)

• AI 안전은 종종 모델의 성능 발전을 늦춘다는 비판을 받는다. 그러나 최근 연구에 따르면, 안전하게 설계된 모델(Aligned model)이 정제된 사고 능력 덕분에 실제 실무 성능도 더 높게 나타나는 '보안-성능 시너지'가 확인되고 있다.

🔗 지식 연결 (Graph)

• Related: AI-Alignment , AI-Governance
• Strategy: Reliability_Safety_First