Files
2nd/10_Wiki/Topics/04_Governance_Reliability/Governance, Safety & Reliability (거버넌스, 안전 및 신뢰성).md
T

3.5 KiB

Governance, Safety & Reliability (거버넌스, 안전 및 신뢰성)

📌 Brief Summary

거버넌스, 안전 및 신뢰성은 에이전틱 시스템이 조직의 정책을 준수하고, 외부 위협으로부터 안전하며, 예측 가능한 수준의 성능을 유지하도록 보장하는 제어 프레임워크이다 [1-3]. 이는 단순히 보안 설정을 넘어 데이터 거버넌스, 다단계 권한 승인, 그리고 시스템 수준의 격리 기술을 포괄한다 [4, 5].

📖 Core Content

1. 데이터 및 도구 거버넌스 (Governance Substrate)

  • Data Governance (데이터 거버넌스): 에이전트가 읽는 데이터의 신뢰성, 최신성, 스키마 안정성을 사전에 검증하고 인증하는 계층 [1, 7].
  • 에이전트 카탈로그 및 정책: 조직 내에서 허용된 에이전트와 도구의 목록을 관리하고, 실행 정책(Policy Enforcement)을 강제한다 [15, 16].
  • 데이터 리니지 추적: 에이전트가 생성한 결과물의 원본 데이터를 추적하여 실패의 근본 원인이 모델인지, 데이터인지 명확히 식별한다 [14].

2. 에이전트 안전 및 권한 통제 (Safety & Permissions)

  • 사전 작업 승인 (Pre-Action Authorization): 고위험 작업(파일 삭제, 대량 메일 발송 등) 수행 전 인간의 승인이나 별도의 검증 절차를 강제한다 [11, 21].
  • 다중 수준 권한 모드 (Multi-Level Permission Modes): 읽기 전용, 샌드박스 쓰기, 제한적 네트워크 접근 등 작업 성격에 따른 세밀한 권한 제어를 적용한다 [12, 21].
  • Guardrails (가드레일): 에이전트의 출력이 윤리적 가이드라인이나 비즈니스 로직을 벗어나지 않도록 실시간으로 필터링하고 교정한다 [13, 14].

3. 시스템 신뢰성 및 격리 (Reliability & Isolation)

  • 심층 방어 (Defense-in-depth): 커널 수준의 격리(Firecracker), 네트워크 차단, RBAC 등을 결합하여 에이전트가 침투 도구로 악용되는 것을 원천 차단한다 [7, 22].
  • 보안 감사 (Security & Audit): 모든 사고 과정과 도구 호출 이력을 불변의 로그로 기록하여 사후 사고 조사가 가능하도록 지원한다 [4, 11].

⚖️ Trade-offs & Caveats

  • 엄격한 통제 vs 자율성: 거버넌스와 권한 통제가 너무 엄격할 경우 에이전트의 문제 해결 능력이 제한되고 생산성이 저하될 수 있다 [22].
  • 사전 예방 vs 사후 분석: 데이터 거버넌스는 사전 예방에 집중하지만 이를 구축하는 비용이 크며, 관측성 도구는 사후 분석에 유리하지만 이미 발생한 실패를 막지 못한다 [10, 18].

🔗 Knowledge Connections

Practical Application Contexts

  • Enterprise Deployment: 기업 내부망에서 에이전트를 운영할 때는 데이터 거버넌스 기판과 사전 작업 승인 절차가 필수적이다.
  • High-Risk Automation: 금융 거래나 시스템 설정 변경과 같은 고위험 작업에서는 다중 수준 권한 모드와 가드레일을 통해 위험을 관리한다.

Last updated: 2026-05-05