Files
2nd/10_Wiki/Topics/Domain_Programming/Harness_Research_2026-05/Langfuse.md
T
Antigravity Agent c24165b8bc refactor(topics): 멀티 에이전트용 지식 재편 — _Common(공통 기본기) + Domain_* 구조
에이전트 8종(대화형/프로그래머 C·S/디자이너/설계자/기획자/QA/PD/PM)에게
[공통 기본 능력 + 롤별 Specialty] 2층으로 지식을 주입하기 위한 재분류.
문서 내용·포맷은 무수정, 폴더 이동만 (6,372개 문서 수 보존 확인).

- Topic_Programming → Domain_Programming (내부 구조 보존)
- Topic_Graphic → Domain_Design
- Topic_Business → Domain_Product
- Topic_General → Domain_General
- _Common 신설: Math(구 Topic_Math_Specialty), Reasoning(구 General/From_Thinking & Reasoning),
  Reasoning_Creativity(구 General/From_창의성), Communication(Poetic_Blog_Writing + From_writing)
- 타 도메인의 From_* 폴더는 유지 (출처 표기일 뿐, 이미 도메인에 맞게 분류된 문서)
- 빈 폴더 정리 (memory/procedures)
- 에이전트→폴더 매핑은 workspace의 .astra/agent-knowledge-map.json (9개 에이전트)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-11 11:05:56 +09:00

2.3 KiB

id, title, category, status, confidence_score, tags, created_at, updated_at
id title category status confidence_score tags created_at updated_at
HARNESS-RES-2026-05-015 Langfuse 10_Wiki/Topics/Observability verified 0.95
harness
llmops
observability
trace
evaluation
prompt-management
2026-05-05 2026-05-08

Langfuse

📌 한 줄 통찰 (The Karpathy Summary)

"LLMOps의 블랙박스를 여는 열쇠: 오픈소스 기반으로 에이전트의 모든 실행 단계를 추적(Trace)하고, 프롬프트 관리와 평가 파이프라인을 단일 인터페이스에서 통합 제공하는 가시성 플랫폼."

📖 구조화된 지식 (Synthesized Content)

  • 핵심 가시성 및 추적 (Observability): 스팬(Span) 수준에서 LLM 호출을 추적하여 모델 호출을 프롬프트, 입출력 데이터와 연결한다 [5]. 에이전트 실행 후 발생한 이벤트를 기록하고 분석하며, 데이터 레지던시가 중요한 환경에서 클라우드 대안보다 선호된다 [2, 4].
  • 프롬프트 및 평가 관리: 내장된 관리 기능을 통해 프롬프트 버전을 추적하고, 평가 점수를 특정 버전과 직접 매핑한다 [5]. 사전에 정의된 기준에 따라 모델의 출력물을 채점하는 자동 평가 파이프라인을 지원한다 [5].
  • 자체 호스팅 및 보안: MIT 라이선스 기반의 자체 호스팅(Self-hosted)을 지원하여 조직의 보안 경계 내에 가시성 데이터를 안전하게 보관할 수 있으며, 팀 간 협업 워크플로우를 제공한다 [3, 5, 6].

⚖️ 트레이드오프 및 고려사항

  • 성능 오버헤드: 에이전트 파이프라인에 통합 시 약 15%의 성능 오버헤드가 발생할 수 있다 [1, 5]. 또한 자체 호스팅의 경우 구축 및 유지보수를 위한 운영 부담이 수반된다 [5].
  • 입력 데이터 품질 검증의 부재: Langfuse는 '사후(Post-hoc)' 관찰 도구이므로, 에이전트가 읽어 들인 컨텍스트(입력 데이터) 자체의 최신성이나 스키마 표류 여부를 검증하지 못한다 [3, 4]. 불량 데이터를 기반으로 생성된 출력에 대해서도 긍정적 평가가 내려질 수 있는 '오도(Misleading)'의 위험이 존재한다.

🔗 지식 연결 (Graph)


Last updated: 2026-05-08