koriweb
8957890d13
- 00_Raw: ASTRA 보안 가이드 3종(SSRF/셸 명령/파일 경로 경계), 회의록 p/q/r 추가 - Topics: Digests 5종, lessons 4종, 메모리 에피소드/장기기억 갱신 - .astra: growth(decay/regression/weakness)·eval(corrections/report) 학습 산출물 갱신 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
4.6 KiB
4.6 KiB
Astra 검색 평가 리포트
- 두뇌: Local Brain
- 일시: 2026. 6. 17. 오후 7:10:22
- 임베딩: (없음 — TF-IDF only)
- 질의 수: 24
- 메모: 주간 자동 사이클 (TF-IDF 경로)
종합 지표
| 지표 | 값 |
|---|---|
| recall@1 | 66.7% |
| recall@3 | 83.3% |
| recall@5 | 87.5% |
| MRR | 0.760 |
recall@k = 기대 문서가 상위 k개 안에 든 질의 비율. MRR = 첫 정답의 1/순위 평균 (1에 가까울수록 좋음).
질의별 상세
| # | 질의 | 첫 정답 순위 | top-k hit | 기대 문서 |
|---|---|---|---|---|
| 1 | 긴 문서를 검색용으로 어떻게 잘게 나눠 인덱싱하지? | miss | @1✗ @3✗ @5✗ | 문서 청킹 전략.md, 청킹 전략.md |
| 2 | RecursiveCharacterTextSplitter 같은 재귀적 문자 분할은 어떻게 동작해? | #1 | @1✓ @3✓ @5✓ | 재귀적 문자 분할.md |
| 3 | 키워드 검색과 벡터 검색을 함께 쓰는 하이브리드 방식 | #2 | @1✗ @3✓ @5✓ | 하이브리드 검색.md |
| 4 | 벡터 데이터베이스는 어떤 기준으로 비교해서 골라야 하나 | #1 | @1✓ @3✓ @5✓ | 벡터 데이터베이스.md |
| 5 | 텍스트 임베딩 모델 선택 기준과 종류 | #1 | @1✓ @3✓ @5✓ | 임베딩 모델.md, 텍스트 임베딩 모델.md |
| 6 | 검색 결과를 다시 정렬하는 reranker 재랭킹 기법 | #1 | @1✓ @3✓ @5✓ | Re-ranking.md, Reranker.md |
| 7 | RAG 성능을 RAGAS로 정량 평가하는 지표들 | #1 | @1✓ @3✓ @5✓ | RAGAS 평가 지표.md, RAGAS.md |
| 8 | LLM을 심판으로 써서 답변 품질을 평가하는 방법 | miss | @1✗ @3✗ @5✗ | LLM-as-a-Judge.md |
| 9 | 검색된 컨텍스트의 정밀도 precision은 어떻게 측정하나 | #2 | @1✗ @3✓ @5✓ | Context Precision.md |
| 10 | context recall 지표가 의미하는 것 | #1 | @1✓ @3✓ @5✓ | Context Recall.md |
| 11 | 에이전트가 스스로 검색을 도구로 호출하는 Agentic RAG | #1 | @1✓ @3✓ @5✓ | Agentic RAG.md |
| 12 | 지식 그래프 기반 GraphRAG 동작 원리 | #2 | @1✗ @3✓ @5✓ | GraphRAG.md |
| 13 | 검색이 부실할 때 교정하는 Corrective RAG | miss | @1✗ @3✗ @5✗ | CRAG.md |
| 14 | 지식 그래프와 그래프 데이터베이스 개념 | #1 | @1✓ @3✓ @5✓ | 지식 그래프.md, 그래프 데이터베이스.md |
| 15 | 문서에서 개체(엔티티)와 관계를 추출하는 방법 | #1 | @1✓ @3✓ @5✓ | 개체 및 관계 추출.md |
| 16 | 전처리 단계에서 텍스트 정규화를 어떻게 하나 | #1 | @1✓ @3✓ @5✓ | 텍스트 정규화.md |
| 17 | 토크나이저는 어떻게 텍스트를 토큰으로 쪼개나 | #1 | @1✓ @3✓ @5✓ | 텍스트 토크나이저.md |
| 18 | RAG 전체 파이프라인 아키텍처와 구성 요소 | #1 | @1✓ @3✓ @5✓ | RAG 아키텍처 및 파이프라인 기초.md, RAG 아키텍처.md, RAG 파이프라인.md |
| 19 | 고급 RAG 기법 정리 | #1 | @1✓ @3✓ @5✓ | Advanced RAG 기법.md |
| 20 | 데이터 인덱싱과 오케스트레이션 파이프라인 | #1 | @1✓ @3✓ @5✓ | 데이터 인덱싱 및 오케스트레이션.md |
| 21 | LangChain으로 RAG 구현하기 | #4 | @1✗ @3✗ @5✓ | LangChain.md |
| 22 | LlamaIndex 프레임워크로 문서 검색 | #2 | @1✗ @3✓ @5✓ | LlamaIndex.md |
| 23 | 데이터셋 버전 관리 DVC | #1 | @1✓ @3✓ @5✓ | 데이터 버전 관리.md |
| 24 | LLM 운영 LLMOps 베스트프랙티스 | #1 | @1✓ @3✓ @5✓ | LLMOps.md, MLOps.md |
Miss 진단 (top 결과가 기대와 어긋난 질의)
- 긴 문서를 검색용으로 어떻게 잘게 나눠 인덱싱하지?
- 기대: 문서 청킹 전략.md, 청킹 전략.md
- 실제 상위: Poetic_Blog_Writing\062_긴_문장의_물결감.md · Poetic_Blog_Writing\222_긴_글에서_집중_유지하기.md · AI_and_ML\P-Reinforce 위키 포맷 정본.md · Topics_Rag\벡터 데이터베이스.md · Coding\Python_MOC.md
- LLM을 심판으로 써서 답변 품질을 평가하는 방법
- 기대: LLM-as-a-Judge.md
- 실제 상위: Coding\AI_LLM_Cost_Optimization.md · DevOps_and_Security\코드 서식 지정과 축소가 코드 스타일로메트리(작성자 인식)에 미치는 영향을 평가하는 기계 학습 모델 분류 연구.md · AI_and_ML\AI Connect LLM Tool.md · Comfyui\Comfyui workflow json 생성 방법.md · Comfyui\Large Language Models (LLM).md
- 검색이 부실할 때 교정하는 Corrective RAG
- 기대: CRAG.md
- 실제 상위: Topics_Rag\Agentic RAG.md · Topics_Rag\RAG 아키텍처 및 파이프라인 기초.md · Topics_Rag\Advanced RAG 기법.md · Coding\AI_RAG_Advanced.md · Comfyui\Retrieval-Augmented Generation (RAG) for Nodes.md