# [[LLMOps]]

## 📌 Brief Summary
LLMOps는 프로덕션 환경에서 대규모 언어 모델(LLM)과 AI 에이전트의 실행을 추적, 평가, 모니터링 및 관리하는 운영 체계를 의미합니다 [1]. 이를 위해 모델 호출, 프롬프트 관리, 평가 파이프라인 등을 통합적으로 지원하는 플랫폼이 활용되며 대표적인 오픈소스 LLMOps 도구로는 Langfuse가 있습니다 [1, 2]. 이 체계는 팀 단위의 협업과 자체 호스팅(Self-hosted) 환경을 통해 에이전트의 관측 가능성(Observability)을 확보하는 데 중점을 둡니다 [1, 2].

## 📖 Core Content
* **LLM 추적(Tracing) 및 모델 호출 연동:** LLMOps 플랫폼은 스팬(Span) 수준에서 LLM 호출을 추적하여, 모델의 호출 과정을 프롬프트, 입력(Input), 출력(Output)과 명확히 연결합니다 [2].
* **프롬프트 관리 및 출력 평가 파이프라인:** 프롬프트의 버전을 체계적으로 관리하며, 특정 프롬프트 버전에 평가 점수를 연동합니다 [2]. 또한, 사전에 정의된 기준에 따라 모델의 출력물을 채점(Scoring)하는 평가 파이프라인을 내장하고 있습니다 [2].
* **보안 및 자체 호스팅(Self-hosting) 지원:** LLMOps 환경은 특정 벤더에 대한 관측성 데이터 종속성(Vendor lock-in)을 방지하기 위해 자체 호스팅을 지원합니다 [1, 2]. 이를 통해 조직은 자체 보안 경계 내에서 데이터를 안전하게 보관할 수 있습니다 [2].
* **팀 협업(Team Collaboration) 워크플로우:** 공유된 LLMOps 워크플로우를 통해 팀원들이 에이전트 실행의 추적(Traces) 데이터와 평가 결과에 공동으로 접근하고 분석할 수 있도록 지원합니다 [2].

## ⚖️ Trade-offs & Caveats
* **사후 처리(Post-hoc)의 근본적 한계:** LLMOps 및 관측성 도구들의 가장 큰 제약은 에이전트가 실행된 '이후'에 발생한 결과를 평가하고 모니터링한다는 점입니다 [3, 4]. 이 도구들은 모델의 출력과 프롬프트 성능은 평가할 수 있지만, 모델에 입력된 소스 데이터 자체가 오래되었거나 검증되지 않았거나 스키마가 변형되었는지 여부는 판단하지 못합니다 [4-6].
* **오도된 평가 점수(Misleading Scores) 발생 위험:** 위와 같은 데이터 품질 관리의 부재로 인해, 잘못되거나 오염된 입력 데이터를 기반으로 생성된 출력물에 대해서도 높은 평가 점수가 부여될 수 있는 심각한 오류 가능성이 존재합니다 [5].
* **운영 오버헤드 증가:** 시스템 내부에서 LLM 호출의 모든 단계를 추적하는 과정에서 약 15%의 성능 오버헤드(Performance overhead)가 발생할 수 있습니다 [2]. 또한, 보안을 위해 자체 호스팅 옵션을 선택할 경우 규모가 작은 팀에게는 추가적인 운영 부담(Operational burden)으로 작용할 수 있습니다 [2].

---
*Last updated: 2026-05-05*