# [[LLM-as-judge]]

## 📌 Brief Summary
LLM-as-judge는 대규모 언어 모델(LLM)을 활용하여 AI 시스템의 검색 및 생성 품질을 체계적으로 평가하는 프레임워크입니다 [1]. RAGAS, Galileo, Maxim AI와 같은 플랫폼에서 맞춤형 평가 기준(custom rubrics)과 함께 주로 제공됩니다 [1]. 이를 통해 기업은 평가 지표가 하락할 경우 배포를 중단하는 품질 게이트(quality gates)를 설정하여 시스템 안정성을 높일 수 있습니다 [1].

## 📖 Core Content
소스에 관련 정보가 부족합니다. 제공된 문헌에서 제한적으로 확인되는 LLM-as-judge 기반 평가의 주요 내용은 다음과 같습니다.

* **맞춤형 평가 기준 적용:** LLM-as-judge는 고정된 방식이 아니라 각 조직의 필요에 맞춘 사용자 정의 루브릭(custom rubrics)을 기반으로 시스템을 평가할 수 있도록 지원합니다 [1].
* **품질 게이트(Quality Gates) 설정:** 개발 팀은 LLM-as-judge 평가 결과를 바탕으로 품질 게이트를 구축할 수 있습니다. 이는 시스템의 성능 지표가 기준 이하로 하락(regress)할 경우, 프로덕션 환경으로의 배포를 자동으로 차단(fail)하는 역할을 합니다 [1].
* **시스템 안정성 기여:** 엔터프라이즈 환경에 이러한 체계적인 평가 방식을 구현할 경우, 배포 이후에 발생하는 문제(post-deployment issues)를 50%에서 70%가량 크게 감소시킬 수 있는 것으로 입증되었습니다 [1].

## ⚖️ Trade-offs & Caveats
소스에 관련 정보가 부족합니다. 문헌을 통해 제한적으로 확인되는 도입 시의 제약 사항은 다음과 같습니다.

* **전담 엔지니어링 리소스의 필요성:** LLM-as-judge와 같은 체계적 평가 시스템을 운영하여 배포 후 오류를 줄이는 효과를 얻기 위해서는, 이를 설계하고 유지보수할 '평가 엔지니어링 전담 인력(dedicated evaluation engineering resources)'이 필수적으로 요구됩니다 [1]. 즉, 평가의 자동화와 품질 확보를 위해 추가적인 운영 리소스 투자가 수반되어야 한다는 반대 급부가 존재합니다.

---
*Last updated: 2026-05-04*