feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

10_Wiki/Topics/AI_and_ML/LLM-as-a-Judge_LaaJ.md

@@ -1,17 +1,26 @@
 ---
-category: Unified
+id: wiki-2026-0508-llm-as-a-judge-laaj
+title: LLM as a Judge LaaJ
+category: 10_Wiki/Topics
+status: needs_review
+canonical_id: self
+aliases: []
+duplicate_of: none
+source_trust_level: A
+confidence_score: 0.92
 tags: [auto-wikified, technical-documentation]
-title: LLM-as-a-Judge (LaaJ)
-description: "LLM-as-a-Judge (LaaJ)는 **대규모 언어 모델(LLM)을 사용하여 다른 AI 모델이 생성한 결과물의 품질을 평가하는 패러다임**입니다 [1]."
-last_updated: 2026-05-02
+raw_sources: []
+last_reinforced: 2026-05-08
+github_commit: pending
+inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
 ---
 
 # LLM-as-a-Judge (LaaJ)
 
-## 📌 Brief Summary
+## 📌 한 줄 통찰 (The Karpathy Summary)
 LLM-as-a-Judge (LaaJ)는 **대규모 언어 모델(LLM)을 사용하여 다른 AI 모델이 생성한 결과물의 품질을 평가하는 패러다임**입니다 [1]. 코드베이스 이해를 돕기 위해 AI가 생성한 코드 설명에서 '환각(Hallucination)'과 같은 부정확한 정보나 형식적 오류를 최종 사용자에게 전달하기 전에 필터링하는 검증기(Validator) 역할을 수행합니다 [2, 3]. 단일 프롬프트가 아닌, '주장 열거 후 검증'이라는 다단계 구조적 접근을 적용할 때 평가의 신뢰성과 정확도가 크게 향상됩니다 [4, 5].
 
-## 📖 Core Content
+## 📖 구조화된 지식 (Synthesized Content)
 *   **LaaJ의 주요 역할과 평가 기준**:
     *   LaaJ 시스템은 주로 두 가지 핵심 차원을 평가합니다: (i) 설명이 잘 구성되었는지(Well-formedness), (ii) 제공된 컨텍스트(코드 스니펫 및 관련 GitHub 아티팩트)에 의해 뒷받침되지 않는 **환각된 주장(Hallucinated claims)이 포함되어 있는지 여부**입니다 [6].
     *   이를 체계화하기 위해 4점 척도의 평가 루브릭을 사용합니다 (0: 허용됨, 1: 단일 환각 주장 포함, 2: 다중 환각 주장 포함, 3: 반복적이거나 주제를 벗어나는 등 형식이 잘못됨) [4].
@@ -25,13 +34,12 @@ LLM-as-a-Judge (LaaJ)는 **대규모 언어 모델(LLM)을 사용하여 다른 A
     *   이 다단계 접근법은 환각 탐지율을 극대화(89%)하면서도 잘못된 환각 탐지(위양성, False Hallucination) 비율을 가장 낮게(18%) 유지하였으며, 형식이 잘못되었다는 위양성 판단은 단 한 건도 발생하지 않았습니다 [8].
     *   이러한 명시적인 주장 열거 작업은 단일 패스(Single-pass) 접근법보다 평가의 정밀도와 해석 가능성을 지속적으로 능가하는 것으로 입증되었습니다 [5].
 
-## ⚖️ Trade-offs & Caveats
+## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
 *   **단일 프롬프트(Single-pass)의 한계**: LLM에게 한 번의 프롬프트로 전체 평가를 위임하면, 명시적인 사고 과정이 결여되어 위양성(실제로는 문제없는 설명을 환각으로 판단)의 비율이 높아지고 신뢰성이 저하됩니다 [4, 5, 8].
 *   **프롬프트 엔지니어링 및 구조적 복잡도 증가**: 환각 탐지의 오류를 줄이기 위해서는 세심한 프롬프트 엔지니어링이 필수적이며, 평가 단계를 여러 개(주장 추출 프롬프트, 검증 프롬프트 등)로 나누어야 하므로 파이프라인의 설계 및 실행 복잡도(Overhead)가 증가합니다 [5].
 *   **의존 데이터로 인한 한계**: LaaJ 역시 LLM이므로 완벽할 수 없으며, 컨텍스트로 제공된 GitHub 아티팩트(예: PR 설명) 자체에 코드의 핵심 목적과 무관하거나 과장된 세부 정보가 포함되어 있다면, LaaJ도 이를 잘못된 판단의 근거로 삼을 수 있는 한계가 있습니다 [9].
 
-## 🔗 Knowledge Connections
-
+## 🔗 지식 연결 (Graph)
 ### Related Concepts
 
 #### [평가 대상/컨텍스트 소스 (Evaluation Sources)]
@@ -69,4 +77,30 @@ LLM-as-a-Judge (LaaJ)는 **대규모 언어 모델(LLM)을 사용하여 다른 A
   - 확장 방향: Qodo, CodeRabbit, Kodesage 등 자동화된 코드 리뷰 시스템들이 리뷰의 정확성을 담보하고 잘못된 제안(오탐지)을 줄이기 위해 내부적으로 어떤 품질 평가 및 검증 메커니즘을 갖추고 있는지 연관하여 조사합니다 [17-20].
 
 ---
-*Last updated: 2026-05-02*
+*Last updated: 2026-05-02*
+
+## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
+
+**언제 이 지식을 쓰는가:**
+- *(TODO)*
+
+**언제 쓰면 안 되는가:**
+- *(TODO)*
+
+## 🧪 검증 상태 (Validation)
+
+- **정보 상태:** needs_review
+- **출처 신뢰도:** A
+- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
+
+## 🧬 중복 검사 (Duplicate Check)
+
+- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
+- **처리 방식:** UPDATE (자동 정규화)
+- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
+
+## 🕓 변경 이력 (Changelog)
+
+| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
+|------|-----------|-----------|--------|
+| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |