2nd/10_Wiki/Topics/.astra/eval/report-2026-06-14T11-00-23-auto.md

Astra 검색 평가 리포트

• 두뇌: Topics
• 일시: 2026. 6. 14. 오후 8:00:23
• 임베딩: (없음 — TF-IDF only)
• 질의 수: 24
• 메모: 주간 자동 사이클 (TF-IDF 경로)

종합 지표

지표	값
recall@1	20.8%
recall@3	29.2%
recall@5	33.3%
MRR	0.253

recall@k = 기대 문서가 상위 k개 안에 든 질의 비율. MRR = 첫 정답의 1/순위 평균 (1에 가까울수록 좋음).

질의별 상세

#	질의	첫 정답 순위	top-k hit	기대 문서
1	긴 문서를 검색용으로 어떻게 잘게 나눠 인덱싱하지?	miss	@1✗ @3✗ @5✗	문서 청킹 전략.md, 청킹 전략.md
2	RecursiveCharacterTextSplitter 같은 재귀적 문자 분할은 어떻게 동작해?	miss	@1✗ @3✗ @5✗	재귀적 문자 분할.md
3	키워드 검색과 벡터 검색을 함께 쓰는 하이브리드 방식	miss	@1✗ @3✗ @5✗	하이브리드 검색.md
4	벡터 데이터베이스는 어떤 기준으로 비교해서 골라야 하나	miss	@1✗ @3✗ @5✗	벡터 데이터베이스.md
5	텍스트 임베딩 모델 선택 기준과 종류	miss	@1✗ @3✗ @5✗	임베딩 모델.md, 텍스트 임베딩 모델.md
6	검색 결과를 다시 정렬하는 reranker 재랭킹 기법	#2	@1✗ @3✓ @5✓	Re-ranking.md, Reranker.md
7	RAG 성능을 RAGAS로 정량 평가하는 지표들	#3	@1✗ @3✓ @5✓	RAGAS 평가 지표.md, RAGAS.md
8	LLM을 심판으로 써서 답변 품질을 평가하는 방법	miss	@1✗ @3✗ @5✗	LLM-as-a-Judge.md
9	검색된 컨텍스트의 정밀도 precision은 어떻게 측정하나	#4	@1✗ @3✗ @5✓	Context Precision.md
10	context recall 지표가 의미하는 것	#1	@1✓ @3✓ @5✓	Context Recall.md
11	에이전트가 스스로 검색을 도구로 호출하는 Agentic RAG	#1	@1✓ @3✓ @5✓	Agentic RAG.md
12	지식 그래프 기반 GraphRAG 동작 원리	#1	@1✓ @3✓ @5✓	GraphRAG.md
13	검색이 부실할 때 교정하는 Corrective RAG	miss	@1✗ @3✗ @5✗	CRAG.md
14	지식 그래프와 그래프 데이터베이스 개념	miss	@1✗ @3✗ @5✗	지식 그래프.md, 그래프 데이터베이스.md
15	문서에서 개체(엔티티)와 관계를 추출하는 방법	miss	@1✗ @3✗ @5✗	개체 및 관계 추출.md
16	전처리 단계에서 텍스트 정규화를 어떻게 하나	miss	@1✗ @3✗ @5✗	텍스트 정규화.md
17	토크나이저는 어떻게 텍스트를 토큰으로 쪼개나	miss	@1✗ @3✗ @5✗	텍스트 토크나이저.md
18	RAG 전체 파이프라인 아키텍처와 구성 요소	miss	@1✗ @3✗ @5✗	RAG 아키텍처 및 파이프라인 기초.md, RAG 아키텍처.md, RAG 파이프라인.md
19	고급 RAG 기법 정리	miss	@1✗ @3✗ @5✗	Advanced RAG 기법.md
20	데이터 인덱싱과 오케스트레이션 파이프라인	miss	@1✗ @3✗ @5✗	데이터 인덱싱 및 오케스트레이션.md
21	LangChain으로 RAG 구현하기	miss	@1✗ @3✗ @5✗	LangChain.md
22	LlamaIndex 프레임워크로 문서 검색	#1	@1✓ @3✓ @5✓	LlamaIndex.md
23	데이터셋 버전 관리 DVC	miss	@1✗ @3✗ @5✗	데이터 버전 관리.md
24	LLM 운영 LLMOps 베스트프랙티스	#1	@1✓ @3✓ @5✓	LLMOps.md, MLOps.md

Miss 진단 (top 결과가 기대와 어긋난 질의)

• 긴 문서를 검색용으로 어떻게 잘게 나눠 인덱싱하지?
  • 기대: 문서 청킹 전략.md, 청킹 전략.md
  • 실제 상위: Poetic_Blog_Writing/062_긴_문장의_물결감.md · Poetic_Blog_Writing/222_긴_글에서_집중_유지하기.md · Coding/Android_WorkManager_Patterns.md · Coding/Android_Notification_Patterns.md · Topic_Programming/Subsystems/TFIDF_이중언어_스코어링.md
• RecursiveCharacterTextSplitter 같은 재귀적 문자 분할은 어떻게 동작해?
  • 기대: 재귀적 문자 분할.md
  • 실제 상위: Topics_Rag/재귀적 문자 분할.md · Programming & Language/재귀적 불변성 (DeepReadonly).md · Coding/Backend_Idempotent_Consumer.md · Coding/Frontend_Container_Queries.md · AI_and_ML/Addiction_Neuroscience.md
• 키워드 검색과 벡터 검색을 함께 쓰는 하이브리드 방식
  • 기대: 하이브리드 검색.md
  • 실제 상위: Economics & Algorithms/하이브리드 캐주얼(Hybrid-casual)의 하이브리드 수익화 모델.md · AI_and_ML/CSS_구조_설계_방식.md · Topics_Rag/하이브리드 검색.md · Topic_Programming/Engineering_Intelligence/ADR/ADR-0007_하이브리드_검색_결정론_우선.md · Topics_Rag/벡터 데이터베이스.md
• 벡터 데이터베이스는 어떤 기준으로 비교해서 골라야 하나
  • 기대: 벡터 데이터베이스.md
  • 실제 상위: Topics_Rag/벡터 데이터베이스.md · 사업/2026-05-09_너의-지식-기준으로-아래-프로젝트-분석하고-설계적-기능적-사용자-경험-그리고-편의성까지-고려해서-리뷰-해줘-.md · 사업/ADR-0004-너의-지식-기준으로-아래-프로젝트-분석하고-설계적-기능적-사용자-경험-그리고-편의성까지-고려해서-리뷰-해줘-.md · 사업/ADR-0002-그러면-너는-comfyui를-이용하여-내가-동영상-제작에-사용할-json-파일을-생성하면-생성해줄-수-있어-.md · AI_and_ML/인-이미지 텍스트(In-Image Text).md
• 텍스트 임베딩 모델 선택 기준과 종류
  • 기대: 임베딩 모델.md, 텍스트 임베딩 모델.md
  • 실제 상위: Topics_Rag/텍스트 임베딩 모델.md · Visual_Effects/Graphics & Performance/BIM 모델 렌더링.md · Topic_Programming/Engineering_Intelligence/디버깅_플레이북.md · Visual_Effects/Graphics & Performance/Revit 모델 렌더링.md · Topics_Rag/임베딩 모델.md
• LLM을 심판으로 써서 답변 품질을 평가하는 방법
  • 기대: LLM-as-a-Judge.md
  • 실제 상위: AI_and_ML/LLM.md · AI_and_ML/LLM_Fundamentals.md · AI_and_ML/GPU.md · AI_and_ML/LLM Inference Optimization.md · AI_and_ML/LLM_Large_Language_Model.md
• 검색이 부실할 때 교정하는 Corrective RAG
  • 기대: CRAG.md
  • 실제 상위: Topics_Rag/Agentic RAG.md · Coding/AI_RAG_Production.md · Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md · Topic_Programming/Engineering_Intelligence/AI_Training/AITRAIN_RAG_검색.md · Topics_Rag/Advanced RAG 기법.md
• 지식 그래프와 그래프 데이터베이스 개념
  • 기대: 지식 그래프.md, 그래프 데이터베이스.md
  • 실제 상위: Topics_Rag/개체 및 관계 추출.md · Topics_Rag/그래프 데이터베이스.md · Topic_Programming/Pattern_Catalog/AI/RAG_Pattern.md · Topics_Rag/지식 그래프.md · Topic_Programming/Pattern_Catalog/Mobile/Navigation_Pattern.md
• 문서에서 개체(엔티티)와 관계를 추출하는 방법
  • 기대: 개체 및 관계 추출.md
  • 실제 상위: Topics_Rag/개체 및 관계 추출.md · Architecture/Entity_엔티티.md · Visual_Effects/Graphics & Performance/RDF와 OWL.md · AI_and_ML/오픈소스 이미지 모델 미세 조정 및 배포.md · DevOps_and_Security/eslint-config-prettier.md
• 전처리 단계에서 텍스트 정규화를 어떻게 하나
  • 기대: 텍스트 정규화.md
  • 실제 상위: Topics_Rag/텍스트 토크나이저.md · Topics_Rag/텍스트 정규화.md · Topics_Rag/텍스트 임베딩 모델.md · Coding/Python/039_csv와_구조적_텍스트_처리.md · AI_and_ML/텍스트 렌더링(Text Rendering).md
• 토크나이저는 어떻게 텍스트를 토큰으로 쪼개나
  • 기대: 텍스트 토크나이저.md
  • 실제 상위: Topics_Rag/텍스트 토크나이저.md · Topic_Programming/Engineering_Intelligence/안티패턴_카탈로그.md · Topics_Rag/청킹 전략.md · Topics_Rag/LLM.md · Topics_Rag/텍스트 임베딩 모델.md
• RAG 전체 파이프라인 아키텍처와 구성 요소
  • 기대: RAG 아키텍처 및 파이프라인 기초.md, RAG 아키텍처.md, RAG 파이프라인.md
  • 실제 상위: Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md · Coding/Python/198_Python_RAG_파이프라인_구조.md · Topics_Rag/Agentic RAG.md · Coding/AI_RAG_Production.md · Topic_Programming/Engineering_Intelligence/AI_Training/AITRAIN_RAG_검색.md
• 고급 RAG 기법 정리
  • 기대: Advanced RAG 기법.md
  • 실제 상위: Topics_Rag/Advanced RAG 기법.md · Topics_Rag/Agentic RAG.md · Coding/AI_RAG_Production.md · Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md · Topic_Programming/Engineering_Intelligence/AI_Training/AITRAIN_RAG_검색.md
• 데이터 인덱싱과 오케스트레이션 파이프라인
  • 기대: 데이터 인덱싱 및 오케스트레이션.md
  • 실제 상위: Topics_Rag/데이터 인덱싱 및 오케스트레이션.md · AI_and_ML/Warno 데이터 기반 설계.md · Programming & Language/데이터 파싱 (Data Parsing).md · Programming & Language/데이터 파싱(Data Parsing).md · Coding/Python/188_Python_데이터_파이프라인_설계.md
• LangChain으로 RAG 구현하기
  • 기대: LangChain.md
  • 실제 상위: Coding/AI_Agent_Sandbox_E2B.md · Topics_Rag/Agentic RAG.md · Coding/AI_RAG_Production.md · AI_and_ML/LlamaIndex.md · Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md
• 데이터셋 버전 관리 DVC
  • 기대: 데이터 버전 관리.md
  • 실제 상위: Coding/MLOps_Model_Registry.md · AI_and_ML/Data Cleaning Algorithms.md · Topics_Rag/데이터 버전 관리.md · DevOps_and_Security/버전_관리_시스템_VCS.md · Poetic_Blog_Writing/356_마지막_한_문장_버전_비교.md