Antigravity Agent
6549ead309
- 00_Raw: 위키화가 끝난 회의록·원문 32건 삭제 - 10_Wiki/Topics: Topic_Math_Specialty(수학 전용 지식 폴더 — Astra 단계별 지식 스코프용), Digests, ASTRA 기능 인벤토리 추가 - .astra 런타임(growth/eval/memory)·lessons·chronicle 설정 동기화 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
13 KiB
13 KiB
Astra 검색 평가 리포트
- 두뇌: Topics
- 일시: 2026. 7. 5. 오후 8:00:10
- 임베딩: (없음 — TF-IDF only)
- 질의 수: 24
- 메모: 주간 자동 사이클 (TF-IDF 경로)
종합 지표
| 지표 | 값 |
|---|---|
| recall@1 | 16.7% |
| recall@3 | 25.0% |
| recall@5 | 33.3% |
| MRR | 0.222 |
recall@k = 기대 문서가 상위 k개 안에 든 질의 비율. MRR = 첫 정답의 1/순위 평균 (1에 가까울수록 좋음).
질의별 상세
| # | 질의 | 첫 정답 순위 | top-k hit | 기대 문서 |
|---|---|---|---|---|
| 1 | 긴 문서를 검색용으로 어떻게 잘게 나눠 인덱싱하지? | miss | @1✗ @3✗ @5✗ | 문서 청킹 전략.md, 청킹 전략.md |
| 2 | RecursiveCharacterTextSplitter 같은 재귀적 문자 분할은 어떻게 동작해? | miss | @1✗ @3✗ @5✗ | 재귀적 문자 분할.md |
| 3 | 키워드 검색과 벡터 검색을 함께 쓰는 하이브리드 방식 | miss | @1✗ @3✗ @5✗ | 하이브리드 검색.md |
| 4 | 벡터 데이터베이스는 어떤 기준으로 비교해서 골라야 하나 | miss | @1✗ @3✗ @5✗ | 벡터 데이터베이스.md |
| 5 | 텍스트 임베딩 모델 선택 기준과 종류 | miss | @1✗ @3✗ @5✗ | 임베딩 모델.md, 텍스트 임베딩 모델.md |
| 6 | 검색 결과를 다시 정렬하는 reranker 재랭킹 기법 | #2 | @1✗ @3✓ @5✓ | Re-ranking.md, Reranker.md |
| 7 | RAG 성능을 RAGAS로 정량 평가하는 지표들 | #4 | @1✗ @3✗ @5✓ | RAGAS 평가 지표.md, RAGAS.md |
| 8 | LLM을 심판으로 써서 답변 품질을 평가하는 방법 | miss | @1✗ @3✗ @5✗ | LLM-as-a-Judge.md |
| 9 | 검색된 컨텍스트의 정밀도 precision은 어떻게 측정하나 | #4 | @1✗ @3✗ @5✓ | Context Precision.md |
| 10 | context recall 지표가 의미하는 것 | #1 | @1✓ @3✓ @5✓ | Context Recall.md |
| 11 | 에이전트가 스스로 검색을 도구로 호출하는 Agentic RAG | #1 | @1✓ @3✓ @5✓ | Agentic RAG.md |
| 12 | 지식 그래프 기반 GraphRAG 동작 원리 | #1 | @1✓ @3✓ @5✓ | GraphRAG.md |
| 13 | 검색이 부실할 때 교정하는 Corrective RAG | miss | @1✗ @3✗ @5✗ | CRAG.md |
| 14 | 지식 그래프와 그래프 데이터베이스 개념 | miss | @1✗ @3✗ @5✗ | 지식 그래프.md, 그래프 데이터베이스.md |
| 15 | 문서에서 개체(엔티티)와 관계를 추출하는 방법 | miss | @1✗ @3✗ @5✗ | 개체 및 관계 추출.md |
| 16 | 전처리 단계에서 텍스트 정규화를 어떻게 하나 | miss | @1✗ @3✗ @5✗ | 텍스트 정규화.md |
| 17 | 토크나이저는 어떻게 텍스트를 토큰으로 쪼개나 | miss | @1✗ @3✗ @5✗ | 텍스트 토크나이저.md |
| 18 | RAG 전체 파이프라인 아키텍처와 구성 요소 | miss | @1✗ @3✗ @5✗ | RAG 아키텍처 및 파이프라인 기초.md, RAG 아키텍처.md, RAG 파이프라인.md |
| 19 | 고급 RAG 기법 정리 | miss | @1✗ @3✗ @5✗ | Advanced RAG 기법.md |
| 20 | 데이터 인덱싱과 오케스트레이션 파이프라인 | miss | @1✗ @3✗ @5✗ | 데이터 인덱싱 및 오케스트레이션.md |
| 21 | LangChain으로 RAG 구현하기 | miss | @1✗ @3✗ @5✗ | LangChain.md |
| 22 | LlamaIndex 프레임워크로 문서 검색 | #3 | @1✗ @3✓ @5✓ | LlamaIndex.md |
| 23 | 데이터셋 버전 관리 DVC | miss | @1✗ @3✗ @5✗ | 데이터 버전 관리.md |
| 24 | LLM 운영 LLMOps 베스트프랙티스 | #1 | @1✓ @3✓ @5✓ | LLMOps.md, MLOps.md |
Miss 진단 (top 결과가 기대와 어긋난 질의)
- 긴 문서를 검색용으로 어떻게 잘게 나눠 인덱싱하지?
- 기대: 문서 청킹 전략.md, 청킹 전략.md
- 실제 상위: Topic_General/Poetic_Blog_Writing/062_긴_문장의_물결감.md · Topic_General/Poetic_Blog_Writing/222_긴_글에서_집중_유지하기.md · Topic_Programming/Coding/Android_WorkManager_Patterns.md · Topic_Programming/Coding/Android_Notification_Patterns.md · Topic_Programming/Chronicle_Records/Thinking/2026-05-27_아-참조해야할-레퍼-문서를-다시-줄께-e-wiki-2nd-10-wiki-topics-thinking-reas_implementation.md
- RecursiveCharacterTextSplitter 같은 재귀적 문자 분할은 어떻게 동작해?
- 기대: 재귀적 문자 분할.md
- 실제 상위: Topic_Programming/Topics_Rag/재귀적 문자 분할.md · Topic_Programming/Coding/Backend_Idempotent_Consumer.md · Topic_Programming/Coding/Frontend_Container_Queries.md · Topic_Programming/Coding/AI_Multimodal_Vision_Patterns.md · Topic_Programming/AI_and_ML/Addiction_Neuroscience.md
- 키워드 검색과 벡터 검색을 함께 쓰는 하이브리드 방식
- 기대: 하이브리드 검색.md
- 실제 상위: Topic_General/From_Topic_Blog/키워드 분석.md · Topic_Programming/Topic_Programming/ADR-0007_하이브리드_검색_결정론_우선.md · Topic_Programming/Topics_Rag/하이브리드 검색.md · Topic_Business/Economics & Algorithms/하이브리드 캐주얼(Hybrid-Casual).md · Topic_Business/From_Topic_Blog/콘텐츠 기획.md
- 벡터 데이터베이스는 어떤 기준으로 비교해서 골라야 하나
- 기대: 벡터 데이터베이스.md
- 실제 상위: Topic_Programming/Topics_Rag/벡터 데이터베이스.md · Topic_General/From_사업/2026-05-09_너의-지식-기준으로-아래-프로젝트-분석하고-설계적-기능적-사용자-경험-그리고-편의성까지-고려해서-리뷰-해줘-.md · Topic_General/From_사업/ADR-0004-너의-지식-기준으로-아래-프로젝트-분석하고-설계적-기능적-사용자-경험-그리고-편의성까지-고려해서-리뷰-해줘-.md · Topic_General/From_사업/ADR-0002-그러면-너는-comfyui를-이용하여-내가-동영상-제작에-사용할-json-파일을-생성하면-생성해줄-수-있어-.md · Topic_Programming/AI_and_ML/인-이미지 텍스트(In-Image Text).md
- 텍스트 임베딩 모델 선택 기준과 종류
- 기대: 임베딩 모델.md, 텍스트 임베딩 모델.md
- 실제 상위: Topic_Programming/Topics_Rag/텍스트 임베딩 모델.md · Topic_Programming/Topic_Programming/디버깅_플레이북.md · Topic_Programming/Coding/AI_Skills_Patterns.md · Topic_General/From_Topic_Blog/임베딩 (Embedding).md · Topic_Graphic/Visual_Effects/Revit 모델 렌더링.md
- LLM을 심판으로 써서 답변 품질을 평가하는 방법
- 기대: LLM-as-a-Judge.md
- 실제 상위: Topic_Programming/AI_and_ML/GPU.md · ASTRA 기능 인벤토리.md · Topic_General/From_Topics_Root/ASTRA 기능 인벤토리.md · Topic_Programming/Coding/Web_SSE_Server_Sent_Events.md · Topic_Programming/From_Topics_Root/LLM_Optimization_and_Deployment_Strategies.md
- 검색이 부실할 때 교정하는 Corrective RAG
- 기대: CRAG.md
- 실제 상위: Topic_Programming/Chronicle_Records/Topics_Rag/README.md · Topic_Programming/Coding/AI_RAG_Production.md · Topic_Programming/Topics_Rag/Agentic RAG.md · Topic_Programming/Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md · Topic_Programming/Topic_Programming/AITRAIN_RAG_검색.md
- 지식 그래프와 그래프 데이터베이스 개념
- 기대: 지식 그래프.md, 그래프 데이터베이스.md
- 실제 상위: Topic_Programming/Topic_C/C_Functions_Parameters.md · Topic_Programming/Topic_CSharp/CSharp_Operators.md · Topic_Programming/Topics_Rag/개체 및 관계 추출.md · Topic_Programming/Topic_CPP/CPP_Pointers.md · Topic_Programming/Topic_CSharp/CSharp_Abstract.md
- 문서에서 개체(엔티티)와 관계를 추출하는 방법
- 기대: 개체 및 관계 추출.md
- 실제 상위: Topic_General/From_Topic_Blog/엔티티 분석 (Entity Analysis).md · Topic_Programming/Topics_Rag/개체 및 관계 추출.md · Topic_Programming/Architecture/Entity_엔티티.md · Topic_Graphic/Visual_Effects/RDF와 OWL.md · Topic_Programming/AI_and_ML/오픈소스 이미지 모델 미세 조정 및 배포.md
- 전처리 단계에서 텍스트 정규화를 어떻게 하나
- 기대: 텍스트 정규화.md
- 실제 상위: Topic_Graphic/Topic_Prompt/Multimodal AI.md · Topic_General/From_Topic_Blog/대체 텍스트.md · Topic_Graphic/From_Topic_Blog/이미지 최적화.md · Topic_Programming/Topics_Rag/텍스트 토크나이저.md · Topic_Programming/Topics_Rag/텍스트 정규화.md
- 토크나이저는 어떻게 텍스트를 토큰으로 쪼개나
- 기대: 텍스트 토크나이저.md
- 실제 상위: Topic_Programming/Topic_HOWTO/HOWTO_CSS_Center_Vertical.md · Topic_Graphic/Topic_Prompt/Multimodal AI.md · Topic_Programming/Topics_Rag/텍스트 토크나이저.md · Topic_Graphic/Topic_Prompt/프롬프트 엔지니어링.md · Topic_Programming/Topic_W3CSS/W3CSS_Round.md
- RAG 전체 파이프라인 아키텍처와 구성 요소
- 기대: RAG 아키텍처 및 파이프라인 기초.md, RAG 아키텍처.md, RAG 파이프라인.md
- 실제 상위: Topic_Programming/Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md · Topic_Programming/Coding/198_Python_RAG_파이프라인_구조.md · Topic_Programming/Chronicle_Records/Topics_Rag/README.md · Topic_Programming/Coding/AI_RAG_Production.md · Topic_Programming/Topics_Rag/Agentic RAG.md
- 고급 RAG 기법 정리
- 기대: Advanced RAG 기법.md
- 실제 상위: Topic_Programming/Topics_Rag/Advanced RAG 기법.md · Topic_Programming/Chronicle_Records/Topics_Rag/README.md · Topic_Programming/Topics_Rag/Agentic RAG.md · Topic_Programming/Coding/AI_RAG_Production.md · Topic_Programming/Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md
- 데이터 인덱싱과 오케스트레이션 파이프라인
- 기대: 데이터 인덱싱 및 오케스트레이션.md
- 실제 상위: Topic_Programming/Topics_Rag/데이터 인덱싱 및 오케스트레이션.md · Topic_Programming/Coding/188_Python_데이터_파이프라인_설계.md · Topic_Programming/From_Topics_Root/데이터_엔지니어링_표준.md · Topic_Programming/Topics_Rag/데이터 버전 관리.md · Topic_Graphic/Visual_Effects/Agency-Narrative Integration.md
- LangChain으로 RAG 구현하기
- 기대: LangChain.md
- 실제 상위: Topic_Programming/Coding/AI_Agent_Sandbox_E2B.md · Topic_Programming/Chronicle_Records/Topics_Rag/README.md · Topic_Programming/Coding/AI_RAG_Production.md · Topic_Programming/Topics_Rag/Agentic RAG.md · Topic_Programming/Topics_Rag/RAG 아키텍처 및 파이프라인 기초.md
- 데이터셋 버전 관리 DVC
- 기대: 데이터 버전 관리.md
- 실제 상위: Topic_Programming/Coding/MLOps_Model_Registry.md · Topic_Programming/AI_and_ML/Data Cleaning Algorithms.md · Topic_Programming/Topics_Rag/데이터 버전 관리.md · Topic_Programming/DevOps_and_Security/버전_관리_시스템_VCS.md · Topic_General/Poetic_Blog_Writing/356_마지막_한_문장_버전_비교.md