3.5 KiB
3.5 KiB
Governance, Safety & Reliability (거버넌스, 안전 및 신뢰성)
📌 Brief Summary
거버넌스, 안전 및 신뢰성은 에이전틱 시스템이 조직의 정책을 준수하고, 외부 위협으로부터 안전하며, 예측 가능한 수준의 성능을 유지하도록 보장하는 제어 프레임워크이다 [1-3]. 이는 단순히 보안 설정을 넘어 데이터 거버넌스, 다단계 권한 승인, 그리고 시스템 수준의 격리 기술을 포괄한다 [4, 5].
📖 Core Content
1. 데이터 및 도구 거버넌스 (Governance Substrate)
- Data Governance (데이터 거버넌스): 에이전트가 읽는 데이터의 신뢰성, 최신성, 스키마 안정성을 사전에 검증하고 인증하는 계층 [1, 7].
- 에이전트 카탈로그 및 정책: 조직 내에서 허용된 에이전트와 도구의 목록을 관리하고, 실행 정책(Policy Enforcement)을 강제한다 [15, 16].
- 데이터 리니지 추적: 에이전트가 생성한 결과물의 원본 데이터를 추적하여 실패의 근본 원인이 모델인지, 데이터인지 명확히 식별한다 [14].
2. 에이전트 안전 및 권한 통제 (Safety & Permissions)
- 사전 작업 승인 (Pre-Action Authorization): 고위험 작업(파일 삭제, 대량 메일 발송 등) 수행 전 인간의 승인이나 별도의 검증 절차를 강제한다 [11, 21].
- 다중 수준 권한 모드 (Multi-Level Permission Modes): 읽기 전용, 샌드박스 쓰기, 제한적 네트워크 접근 등 작업 성격에 따른 세밀한 권한 제어를 적용한다 [12, 21].
- Guardrails (가드레일): 에이전트의 출력이 윤리적 가이드라인이나 비즈니스 로직을 벗어나지 않도록 실시간으로 필터링하고 교정한다 [13, 14].
3. 시스템 신뢰성 및 격리 (Reliability & Isolation)
- 심층 방어 (Defense-in-depth): 커널 수준의 격리(Firecracker), 네트워크 차단, RBAC 등을 결합하여 에이전트가 침투 도구로 악용되는 것을 원천 차단한다 [7, 22].
- 보안 감사 (Security & Audit): 모든 사고 과정과 도구 호출 이력을 불변의 로그로 기록하여 사후 사고 조사가 가능하도록 지원한다 [4, 11].
⚖️ Trade-offs & Caveats
- 엄격한 통제 vs 자율성: 거버넌스와 권한 통제가 너무 엄격할 경우 에이전트의 문제 해결 능력이 제한되고 생산성이 저하될 수 있다 [22].
- 사전 예방 vs 사후 분석: 데이터 거버넌스는 사전 예방에 집중하지만 이를 구축하는 비용이 크며, 관측성 도구는 사후 분석에 유리하지만 이미 발생한 실패를 막지 못한다 [10, 18].
🔗 Knowledge Connections
Related Concepts
- Agent Harness (에이전트 하네스): 하네스의 L-component가 이 거버넌스 및 안전 정책을 실제로 집행하는 계층이다.
- Agentic Infrastructure & Observability (에이전틱 인프라 및 관측 가능성): 보안 사고 발생 시 원인을 추적하기 위한 트레이스 데이터를 제공한다.
Practical Application Contexts
- Enterprise Deployment: 기업 내부망에서 에이전트를 운영할 때는 데이터 거버넌스 기판과 사전 작업 승인 절차가 필수적이다.
- High-Risk Automation: 금융 거래나 시스템 설정 변경과 같은 고위험 작업에서는 다중 수준 권한 모드와 가드레일을 통해 위험을 관리한다.
Last updated: 2026-05-05