docs(10_Wiki): 위키 전체 재구성 — Topic_* 폴더를 4개 카테고리로 통합 + 대규모 중복 제거
Topic_Agent/Topic_Blog/Topics/Topics_Biz/Topics_Meeting/Topics_Rag의 마크다운 지식 문서를 Topic_General/Topic_Programming/Topic_Graphic/Topic_Business 4개 카테고리로 재분류. - 중복 제거: frontmatter의 status:duplicate/merged + duplicate_of/redirect_to 필드로 자기 자신을 중복으로 선언한 리다이렉트 stub 1032개 제거, 완전 동일 내용 파일 472개 제거, 동일 파일명·다른 내용 충돌 시 더 큰(완전한) 버전만 유지(162개 제거) — 총 1639개 중복 제거. - 분류: 폴더 단위로 명확한 항목(AI_and_ML/Coding/Architecture 등 → Programming, Comfyui/Visual_Effects → Graphic, Topics_Biz/Topics_Meeting/사업 등 → Business, Poetic_Blog_Writing/창의성/Game_Design 등 → General)은 폴더 우선순위로, 나머지 혼재 폴더(Topic_Agent/Topic_Blog/Topics 루트/Thinking & Reasoning/Other/UI_UX_Assets)는 title/tags 키워드 스코어링으로 파일 단위 분류(불명확한 경우 General로 폴백). 원본 폴더명은 "From_*" 서브폴더로 보존해 추적 가능성 유지. - 최종 배치: Programming 2784 / General 1608 / Graphic 285 / Business 249 = 4926개 문서. - 에이전트 운영 상태(.astra/.agent/.obsidian/sessions/memory/_company/docs/lessons/_shared/src)는 지식 콘텐츠가 아니므로 재분류 대상에서 제외하고 원위치 유지. - Topics/Topic_email(상위 보호 폴더 Topic_email과 파일명 100% 중복) 삭제 — 보호 폴더 자체는 미변경. - 완전히 비게 된 Topic_Agent/Topic_Blog/Topics_Biz/Topics_Rag 폴더 제거.
This commit is contained in:
@@ -0,0 +1,32 @@
|
||||
---
|
||||
id: HARNESS-RES-2026-05-015
|
||||
title: Langfuse
|
||||
category: "10_Wiki/Topics/Observability"
|
||||
status: verified
|
||||
confidence_score: 0.95
|
||||
tags: [harness, llmops, observability, trace, evaluation, prompt-management]
|
||||
created_at: 2026-05-05
|
||||
updated_at: 2026-05-08
|
||||
---
|
||||
|
||||
# Langfuse
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "LLMOps의 블랙박스를 여는 열쇠: 오픈소스 기반으로 에이전트의 모든 실행 단계를 추적(Trace)하고, 프롬프트 관리와 평가 파이프라인을 단일 인터페이스에서 통합 제공하는 가시성 플랫폼."
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
* **핵심 가시성 및 추적 (Observability):** 스팬(Span) 수준에서 LLM 호출을 추적하여 모델 호출을 프롬프트, 입출력 데이터와 연결한다 [5]. 에이전트 실행 후 발생한 이벤트를 기록하고 분석하며, 데이터 레지던시가 중요한 환경에서 클라우드 대안보다 선호된다 [2, 4].
|
||||
* **프롬프트 및 평가 관리:** 내장된 관리 기능을 통해 프롬프트 버전을 추적하고, 평가 점수를 특정 버전과 직접 매핑한다 [5]. 사전에 정의된 기준에 따라 모델의 출력물을 채점하는 자동 평가 파이프라인을 지원한다 [5].
|
||||
* **자체 호스팅 및 보안:** MIT 라이선스 기반의 자체 호스팅(Self-hosted)을 지원하여 조직의 보안 경계 내에 가시성 데이터를 안전하게 보관할 수 있으며, 팀 간 협업 워크플로우를 제공한다 [3, 5, 6].
|
||||
|
||||
## ⚖️ 트레이드오프 및 고려사항
|
||||
* **성능 오버헤드:** 에이전트 파이프라인에 통합 시 약 15%의 성능 오버헤드가 발생할 수 있다 [1, 5]. 또한 자체 호스팅의 경우 구축 및 유지보수를 위한 운영 부담이 수반된다 [5].
|
||||
* **입력 데이터 품질 검증의 부재:** Langfuse는 '사후(Post-hoc)' 관찰 도구이므로, 에이전트가 읽어 들인 컨텍스트(입력 데이터) 자체의 최신성이나 스키마 표류 여부를 검증하지 못한다 [3, 4]. 불량 데이터를 기반으로 생성된 출력에 대해서도 긍정적 평가가 내려질 수 있는 '오도(Misleading)'의 위험이 존재한다.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- **상위 개념**: [[LLMOps]], [[Observability]]
|
||||
- **유사 개념**: [[LangSmith]]
|
||||
- **관련 프로젝트**: [[ConnectAI]]
|
||||
|
||||
---
|
||||
*Last updated: 2026-05-08*
|
||||
Reference in New Issue
Block a user