---
id: P-REINFORCE-AUTO-SARE-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 0.97
tags: [auto-reinforced, safety, reliability, system-design, zero-harm]
last_reinforced: 2026-04-20
---

# [[Safety & Reliability]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "믿을 수 있는 시스템의 두 기둥: 예상된 동작을 한결같이 수행하는 '신뢰성'과, 오동작 시에도 생명과 자산에 해를 끼치지 않는 '안전성'의 조화."

## 📖 구조화된 지식 (Synthesized Content)
안전성(Safety)과 신뢰성(Reliability)은 고도화된 기술 시스템이 갖추어야 할 형질적 요건입니다.

1.  **개념적 차이**:
    *   **Reliability**: "어제도 오늘도 내일도 똑같이 잘 작동하는가?" (가용성, 고장 간격 시간 등).
    *   **Safety**: "고장이 나거나 비정상적인 상황에서도 사람을 다치게 하지 않는가?" (위험 제어, Fail-safe 설계).
2.  **설계 원칙**:
    *   **Redundancy**: 핵심 부품이 고장 날 때를 대비해 예비 부품을 병렬로 운용.
    *   **Fail-soft**: 기능이 저하되더라도 핵심 안전 기능은 끝까지 유지.
    *   **Isolation**: 한 모듈의 오류가 시스템 전체로 전이되는 것을 차단.
3.  **검증 방법론**:
    *   **FMEA (고장 모드 영향 분석)**: 잠재적 고장을 미리 나열하고 그 영향을 수치화하여 방지.
    *   **Formal Verification**: 수학적 증명을 통해 코드나 하드웨어 설계의 무결성 입증.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 신뢰성을 높이기 위해 단순한 구조를 지향했으나, 현대 시스템은 복잡도가 기하급수적으로 증가함에 따라 '복잡성을 관리하는 안전 정책(Safety-II)'으로 전환됨. 즉, 오류 제거를 넘어 '성공하는 상황을 늘리는 것'에 집중함.
- **정책 변화(RL Update)**: AI 모델의 '안전성 테스트'를 거치지 않은 공공 서비스 도입을 법적으로 금지하는 'AI 안전 거버넌스' 정책이 국가 핵심 전략으로 채택되었으며, 모델의 신뢰성을 정량적으로 증명하는 인증 제도가 신설됨.

## 🔗 지식 연결 (Graph)
- [[Robustness]], [[Risk Management]], [[Ethics & AI]], Cyber-Physical Systems, [[Operations-Research]]
- **Modern Tech/Tools**: ISO 26262 (Automotive safety), Fault-tree analysis (FTA).
---