Self-verification (자가 검증)

📌 Brief Summary

Self-verification(자가 검증)은 AI 에이전트가 작업을 마친 후 혹은 실행 도중에 자신의 출력물이나 행동 결과가 요청된 요구사항을 충족했는지, 오류는 없는지 스스로 검토하고 수정하는 프로세스이다. 모델의 확률론적 한계를 극복하고 결과물의 신뢰성을 높이기 위한 핵심적인 기법으로, 에이전트 하네스의 V-component와 E-component가 협업하여 수행한다.

📖 Core Content

검증 메커니즘 (Verification Loops):
- 자기 비판 (Self-critique): 모델에게 "네 답변을 다시 읽고 오류를 찾아봐"라고 요청하여 논리적 허점을 발견하게 함.
- 정적 분석 통합: 에이전트가 생성한 코드를 Linter나 컴파일러를 통해 실행해보고, 발생한 에러를 피드백으로 활용.
- 단위 테스트 실행: 에이전트가 스스로 테스트 코드를 작성하고 실행하여 기능의 정상 작동 여부를 확인.
- 근거 대조 (Evidence Grounding): 생성된 정보가 메모리(Evidence Memory) 내의 실제 데이터와 일치하는지 교차 검증.
PEV (Plan-Execute-Verify) 루프: 작업을 기획(Plan), 실행(Execute)한 후 반드시 검증(Verify) 단계를 거치도록 워크플로우를 구조화하여 검증 누락을 방지한다.
평가자 에이전트 (Evaluator Agent): 생성 모델과 별개로 검증만을 전담하는 독립적인 에이전트를 두어 '자기 확증 편향'을 최소화하고 객관성을 확보한다.
결정론적 피드백: 모델의 추론에만 의존하지 않고, 실제 실행 결과(Success/Failure)나 외부 툴의 출력값을 최종 검증의 잣대로 삼는다.

⚖️ Trade-offs & Caveats

자기 확증 편향: 모델은 자신이 만든 결과물을 옳다고 믿으려는 경향이 있어, 단순한 프롬프트만으로는 심각한 오류를 놓칠 수 있다.
비용과 지연 시간: 매 작업마다 검증 루프를 돌리면 토큰 소모량이 2~3배로 늘어나고 시스템 반응 속도가 저하된다.
둠 루프 (Doom Loop): 에이전트가 오류를 고치지 못하고 동일한 검증 실패를 무한 반복하며 루프에 갇힐 위험이 있다.

🔗 Knowledge Connections

V-component (Evaluation Interface)
- 연결 이유: 자가 검증이 실질적으로 구현되는 하네스의 구성 요소이다.
Reflexion
- 연결 이유: 실패로부터 배우고 스스로를 수정하는 상위 개념의 프레임워크이다.
Context Attention Decay
- 연결 이유: 장기 작업 시 에이전트가 검증 규칙을 잊어버리게 만드는 원인이다.

Deeper Research Questions

'검증의 깊이'를 작업의 중요도에 따라 동적으로 조절하여 비용 효율성을 극대화하는 스케줄링 전략은 무엇인가?
인간의 피드백(HITL)이 적은 상황에서 자동화된 자가 검증만으로 소프트웨어 수준의 안정성을 보장할 수 있는가?
검증 실패 시 에이전트에게 제공하는 '피드백의 구체성'이 자가 수정(Self-correction) 성공률에 미치는 영향은 어떠한가?

Practical Application Contexts

Implementation: agent.run() 메서드 마지막에 반드시 agent.verify()를 호출하도록 강제하고, 검증 실패 시 최대 N회까지 agent.fix()를 시도하게 한다.
System Design: 코딩 에이전트 파이프라인에서 'Generator 에이전트'와 'Reviewer 에이전트'를 분리하여 서로의 결과물을 비판하게 만드는 GAN 스타일의 협업 체계를 구축한다.

Last updated: 2026-05-01

3.8 KiB Raw Blame History