Files
2nd/10_Wiki/Topics/Domain_Programming/Harness_Research_2026-05/인간 개입 (Human-in-the-Loop, HITL).md
T
Antigravity Agent c24165b8bc refactor(topics): 멀티 에이전트용 지식 재편 — _Common(공통 기본기) + Domain_* 구조
에이전트 8종(대화형/프로그래머 C·S/디자이너/설계자/기획자/QA/PD/PM)에게
[공통 기본 능력 + 롤별 Specialty] 2층으로 지식을 주입하기 위한 재분류.
문서 내용·포맷은 무수정, 폴더 이동만 (6,372개 문서 수 보존 확인).

- Topic_Programming → Domain_Programming (내부 구조 보존)
- Topic_Graphic → Domain_Design
- Topic_Business → Domain_Product
- Topic_General → Domain_General
- _Common 신설: Math(구 Topic_Math_Specialty), Reasoning(구 General/From_Thinking & Reasoning),
  Reasoning_Creativity(구 General/From_창의성), Communication(Poetic_Blog_Writing + From_writing)
- 타 도메인의 From_* 폴더는 유지 (출처 표기일 뿐, 이미 도메인에 맞게 분류된 문서)
- 빈 폴더 정리 (memory/procedures)
- 에이전트→폴더 매핑은 workspace의 .astra/agent-knowledge-map.json (9개 에이전트)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-11 11:05:56 +09:00

2.7 KiB

id, title, category, status, confidence_score, tags, created_at, updated_at
id title category status confidence_score tags created_at updated_at
HARNESS-RES-2026-05-010 인간 개입 (Human-in-the-Loop, HITL) 10_Wiki/Topics/Governance verified 0.95
harness
governance
hitl
safety
collaboration
decision-making
2026-05-05 2026-05-08

인간 개입 (Human-in-the-Loop, HITL)

📌 한 줄 통찰 (The Karpathy Summary)

"자율성의 안전벨트: 에이전트의 실행 과정 중 고위험 의사결정 지점에서 인간의 승인과 검토를 강제하여, 시스템의 통제력을 유지하고 치명적 오류를 예방하는 최후의 거버넌스 장치."

📖 구조화된 지식 (Synthesized Content)

  • HITL 아키텍처 패턴:
    • 중단 및 승인 메커니즘 (Interrupts): 프로덕션 DB 쓰기나 외부 통신 전 실행을 일시 중지(pause)하고 인간의 승인을 대기하는 워크플로우를 구현한다 [3, 5, 6].
    • 브레이크포인트 패턴: Dify 및 LangGraph 등은 실행 루프 중간의 결정 지점에서 상태를 지속시키고 검토 UI를 노출한 뒤, 결과에 따라 이후 경로를 라우팅하는 패턴을 지원한다 [4].
  • 인간의 역할 진화 ('Humans on the loop'): 개별 작업의 건별 승인을 넘어, 에이전트의 인프라(하네스) 자체를 설계하고 최적화하는 메타 수준의 관리자로 역할이 진화해야 한다 [4, 7].
  • 보안 계층으로서의 HITL: 고유 계정 접근이나 공유 메모리 기록 시, 악의적 프롬프트 인젝션 방지와 데이터 무결성 보호를 위해 인간 승인 게이트는 필수적 보안 계층이다 [8, 9].

⚖️ 트레이드오프 및 고려사항

  • 승인 피로(Approval Fatigue): 모든 행동에 승인을 강제할 경우, 사용자가 내용을 보지 않고 기계적으로 자동 승인(auto-approve)하게 되어 통제력이 무력화되는 부작용이 있다 [4, 8, 10].
  • 확장성(Scalability) 병목: 인간의 응답 속도에 시스템이 대기해야 하므로, 에이전트의 대량 처리 이점이 반감된다. 자율적인 자체 검증(self-verification) 루프와의 적절한 조합이 필요하다 [4, 11, 12].
  • 적응형 개입 모델의 불완전성: 정보 부족 시에만 도움을 요청하는 모델이 제안되나, 현재 최상위 모델조차 도움을 구하기보다 제한된 정보로 작업을 강행하려는 경향이 있어 주의가 필요하다 [4].

🔗 지식 연결 (Graph)


Last updated: 2026-05-08