Antigravity Agent
36 lines
2.5 KiB
Markdown
36 lines
2.5 KiB
Markdown
---
|
|
id: [[P-Reinforce|P-Reinforce]]-AUTO-SARE-001
|
|
category: Dev
|
|
confidence_score: 0.97
|
|
tags: [auto-reinforced, safety, [[Reliability|Reliability]],[[_system|system]]-design, zero-harm]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Safety & Reliability|Safety & Reliability]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "믿을 수 있는 시스템의 두 기둥: 예상된 동작을 한결같이 수행하는 '신뢰성'과, 오동작 시에도 생명과 자산에 해를 끼치지 않는 '안전성'의 조화."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
안전성(Safety)과 신뢰성(Reliability)은 고도화된 기술 시스템이 갖추어야 할 형질적 요건입니다.
|
|
|
|
1. **개념적 차이**:
|
|
* **Reliability**: "어제도 오늘도 내일도 똑같이 잘 작동하는가?" (가용성, 고장 간격 시간 등).
|
|
* **Safety**: "고장이 나거나 비정상적인 상황에서도 사람을 다치게 하지 않는가?" (위험 제어, Fail-safe 설계).
|
|
2. **설계 원칙**:
|
|
* **Redundancy**: 핵심 부품이 고장 날 때를 대비해 예비 부품을 병렬로 운용.
|
|
* **Fail-soft**: 기능이 저하되더라도 핵심 안전 기능은 끝까지 유지.
|
|
* **Isolation**: 한 모듈의 오류가 시스템 전체로 전이되는 것을 차단.
|
|
3. **검증 방법론**:
|
|
* **FMEA (고장 모드 영향 분석)**: 잠재적 고장을 미리 나열하고 그 영향을 수치화하여 방지.
|
|
* **Formal Verification**: 수학적 증명을 통해 코드나 하드웨어 설계의 무결성 입증.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 과거에는 신뢰성을 높이기 위해 단순한 구조를 지향했으나, 현대 시스템은 복잡도가 기하급수적으로 증가함에 따라 '복잡성을 관리하는 안전 정책(Safety-II)'으로 전환됨. 즉, 오류 제거를 넘어 '성공하는 상황을 늘리는 것'에 집중함.
|
|
- **정책 변화(RL Update)**: AI 모델의 '안전성 테스트'를 거치지 않은 공공 서비스 도입을 법적으로 금지하는 'AI 안전 거버넌스' 정책이 국가 핵심 전략으로 채택되었으며, 모델의 신뢰성을 정량적으로 증명하는 인증 제도가 신설됨.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Robustness|Robustness]], [[Risk Management|Risk Management]], [[Ethics & AI|Ethics & AI]], Cyber-Physical Systems, [[Operations-Research|Operations-Research]]
|
|
- **Modern Tech/Tools**: ISO 26262 (Automotive safety), Fault-tree [[Analysis|Analysis]] (FTA).
|
|
---
|