2.4 KiB
2.4 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | |||||
|---|---|---|---|---|---|---|---|---|---|
| P-REINFORCE-AUTO-SARE-001 | 10_Wiki/💡 Topics/AI | 0.97 |
|
2026-04-20 |
Safety & Reliability
📌 한 줄 통찰 (The Karpathy Summary)
"믿을 수 있는 시스템의 두 기둥: 예상된 동작을 한결같이 수행하는 '신뢰성'과, 오동작 시에도 생명과 자산에 해를 끼치지 않는 '안전성'의 조화."
📖 구조화된 지식 (Synthesized Content)
안전성(Safety)과 신뢰성(Reliability)은 고도화된 기술 시스템이 갖추어야 할 형질적 요건입니다.
- 개념적 차이:
- Reliability: "어제도 오늘도 내일도 똑같이 잘 작동하는가?" (가용성, 고장 간격 시간 등).
- Safety: "고장이 나거나 비정상적인 상황에서도 사람을 다치게 하지 않는가?" (위험 제어, Fail-safe 설계).
- 설계 원칙:
- Redundancy: 핵심 부품이 고장 날 때를 대비해 예비 부품을 병렬로 운용.
- Fail-soft: 기능이 저하되더라도 핵심 안전 기능은 끝까지 유지.
- Isolation: 한 모듈의 오류가 시스템 전체로 전이되는 것을 차단.
- 검증 방법론:
- FMEA (고장 모드 영향 분석): 잠재적 고장을 미리 나열하고 그 영향을 수치화하여 방지.
- Formal Verification: 수학적 증명을 통해 코드나 하드웨어 설계의 무결성 입증.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 과거에는 신뢰성을 높이기 위해 단순한 구조를 지향했으나, 현대 시스템은 복잡도가 기하급수적으로 증가함에 따라 '복잡성을 관리하는 안전 정책(Safety-II)'으로 전환됨. 즉, 오류 제거를 넘어 '성공하는 상황을 늘리는 것'에 집중함.
- 정책 변화(RL Update): AI 모델의 '안전성 테스트'를 거치지 않은 공공 서비스 도입을 법적으로 금지하는 'AI 안전 거버넌스' 정책이 국가 핵심 전략으로 채택되었으며, 모델의 신뢰성을 정량적으로 증명하는 인증 제도가 신설됨.
🔗 지식 연결 (Graph)
- Robustness, Risk Management, Ethics & AI, Cyber-Physical Systems, Operations-Research
- Modern Tech/Tools: ISO 26262 (Automotive safety), Fault-tree analysis (FTA).