2nd/10_Wiki/Topics_Blog/Safety & Reliability.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-SARE-001	10_Wiki/💡 Topics/AI	0.97	auto-reinforced safety reliability system-design zero-harm	2026-04-20

Safety & Reliability

📌 한 줄 통찰 (The Karpathy Summary)

"믿을 수 있는 시스템의 두 기둥: 예상된 동작을 한결같이 수행하는 '신뢰성'과, 오동작 시에도 생명과 자산에 해를 끼치지 않는 '안전성'의 조화."

📖 구조화된 지식 (Synthesized Content)

안전성(Safety)과 신뢰성(Reliability)은 고도화된 기술 시스템이 갖추어야 할 형질적 요건입니다.

1. 개념적 차이:
   • Reliability: "어제도 오늘도 내일도 똑같이 잘 작동하는가?" (가용성, 고장 간격 시간 등).
   • Safety: "고장이 나거나 비정상적인 상황에서도 사람을 다치게 하지 않는가?" (위험 제어, Fail-safe 설계).
2. 설계 원칙:
   • Redundancy: 핵심 부품이 고장 날 때를 대비해 예비 부품을 병렬로 운용.
   • Fail-soft: 기능이 저하되더라도 핵심 안전 기능은 끝까지 유지.
   • Isolation: 한 모듈의 오류가 시스템 전체로 전이되는 것을 차단.
3. 검증 방법론:
   • FMEA (고장 모드 영향 분석): 잠재적 고장을 미리 나열하고 그 영향을 수치화하여 방지.
   • Formal Verification: 수학적 증명을 통해 코드나 하드웨어 설계의 무결성 입증.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 신뢰성을 높이기 위해 단순한 구조를 지향했으나, 현대 시스템은 복잡도가 기하급수적으로 증가함에 따라 '복잡성을 관리하는 안전 정책(Safety-II)'으로 전환됨. 즉, 오류 제거를 넘어 '성공하는 상황을 늘리는 것'에 집중함.
• 정책 변화(RL Update): AI 모델의 '안전성 테스트'를 거치지 않은 공공 서비스 도입을 법적으로 금지하는 'AI 안전 거버넌스' 정책이 국가 핵심 전략으로 채택되었으며, 모델의 신뢰성을 정량적으로 증명하는 인증 제도가 신설됨.

🔗 지식 연결 (Graph)

• Robustness, Risk Management, Ethics & AI, Cyber-Physical Systems, Operations-Research
• Modern Tech/Tools: ISO 26262 (Automotive safety), Fault-tree analysis (FTA).

---