Antigravity Agent
4.0 KiB
4.0 KiB
Meta-Harness (메타 하네스)
📌 Brief Summary
메타 하네스(Meta-Harness)는 개별 에이전트 하네스를 수동으로 조정하는 대신, 에이전트가 스스로 하네스 구성(프롬프트, 도구 정의, 컨텍스트 관리 등)을 진화시키고 최적화하도록 지원하는 상위 계층의 프레임워크이자 자동화 패러다임이다 [1]. 이는 다른 하네스들을 자동 생성하는 '메타 팩토리(Meta-Factory)'의 역할을 수행하거나, 외부 최적화 루프를 통해 실패를 진단하고 하네스를 재작성하는 자가 개선(Self-improving) 시스템으로 구현된다 [1, 2].
📖 Core Content
- 엔드투엔드 최적화 표적 (End-to-End Optimization): 메타 하네스는 시스템 프롬프트, 도구 정의, 맥락 관리, 완료 로직 등을 개별적으로 튜닝하지 않고 하네스 전체를 공동 최적화(Joint optimization)의 대상으로 삼는다 [1]. 제안자 에이전트(Proposer agent)에게 이전 하네스 후보, 점수, 실행 추적(Execution traces)에 대한 파일 시스템 접근 권한을 부여하여 실패 원인을 특정 하네스 결정의 결과로 역추적하게 한다 [1].
- 하네스 메타 팩토리 (L3 Meta-Factory): 메타 하네스는 '다른 하네스들을 생성하는 계층'으로도 기능한다 [2]. 예를 들어,
revfactory/harness프레임워크는 사용자의 도메인 설명만으로 사전 정의된 6가지 패턴 중 하나를 선택해 에이전트 팀과 스킬을 자동 생성하는 '팀 아키텍처 팩토리(Team-Architecture Factory)' 역할을 하며,Archon은 결정적이고 반복 가능한 런타임 설정을 생성하는 역할을 분담하여 이웃 서브 층으로 공존한다 [2, 3]. - 자율적 하네스 진화 (Autonomous Harness Evolution): 에이전트가 자신의 실행 기록을 기반으로 프롬프트, 도구, 전략 등 스캐폴딩(Scaffolding) 자체를 수정하도록 설계된 궁극적인 형태의 메타 하네스가 존재한다 [1]. 대표적으로
harness-evolver나stanford-iris-lab/meta-harness같은 구현체들은 파일 시스템 기반의 검색 루프를 통해 코딩 에이전트가 하네스 아티팩트를 자율적으로 제안, 평가, 정제하는 과정을 거치며 성능을 향상시킨다 [1, 4]. - 역할 분리 패턴 (Program.md 패턴): 인간은
PROGRAM.md와 같은 파일에 최적화 지시(Directive)를 작성하고, 에이전트는 하네스 엔지니어링 루프를 직접 실행하는 패턴이 가장 실용적인 메타 하네스 접근법으로 꼽힌다 [1]. 이를 통해 단순히 정적인 설정을 넘어서AGENTS.md, 설정 스크립트, 테스트 흐름 등을 최적화 가능한 학습 매개변수로 취급하여 레이블링된 훈련 데이터 없이도 신뢰성을 크게 끌어올린다 [4].
⚖️ Trade-offs & Caveats
- 막대한 컨텍스트 및 토큰 비용: 메타 하네스 접근법은 제안자 에이전트가 하네스 결정의 실패 원인을 추적하기 위해 이전 하네스 후보와 수많은 실행 추적(Traces) 데이터에 모두 접근해야 한다. 이로 인해 기존 연구(약 26,000 토큰)에 비해 엄청난 규모인 1,000만(10M) 토큰 수준의 진단 컨텍스트를 요구하므로, 막대한 리소스 오버헤드가 발생한다는 제약이 있다 [1].
- 메타 평가(Meta-Evaluation) 인프라 구축의 난해함: 한 에이전트가 다른 에이전트의 하네스를 반복적으로 최적화하는 과정(Agent-on-agent optimization)에서는, 최적화가 실제로 타겟 에이전트를 개선하고 있는지 체계적으로 측정하기 어렵다는 '메타 평가의 공백(Meta-evaluation gap)' 문제가 발생한다 [5]. 이를 해결하기 위해서는 버전화된 에이전트 스냅샷, 예산이 통제된 평가(Budget-controlled evaluation), 그리고 구조화된 실행 추적을 캡처하는 복잡한 전용 평가 프레임워크(예: VeRO)가 필수적으로 수반되어야 한다 [5].
Last updated: 2026-05-05