30 lines
2.2 KiB
Markdown
30 lines
2.2 KiB
Markdown
---
|
|
id: DATA-IR-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [data-science, information-retrieval, search-engine, ranking, nlp, rag]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Information Retrieval (IR, 정보 검색)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "데이터의 바다에서 단순한 키워드가 아닌, 사용자의 질문과 가장 밀접한 '의미의 정수'를 건져 올려라" — 비정형 데이터셋에서 사용자의 정보 요구(Query)에 부합하는 유효한 정보를 찾아내고, 관련성(Relevance)에 따라 순위를 매겨 제공하는 학문 및 기술.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Retrieve and Rank" — 1단계에서 대량의 데이터 중 후보군을 빠르게 추출(Retrieval)하고, 2단계에서 정교한 모델을 통해 최적의 순서를 결정(Ranking)하는 단계적 필터링 패턴.
|
|
- **핵심 모델:**
|
|
- **Boolean Model:** 키워드의 존재 여부만 판단 (고전적 방식).
|
|
- **Vector Space Model (TF-IDF, BM25):** 단어 빈도와 희소성을 바탕으로 문서의 중요도 계산.
|
|
- **Neural IR (Dense Retrieval):** 임베딩 벡터 간 유사도를 통해 의미론적 검색 수행 (현대적 방식).
|
|
- **평가 지표:** Precision, Recall, F1-Score, 그리고 순위의 정확도를 측정하는 MRR, nDCG 등.
|
|
- **의의:** AI 에이전트가 외부 지식을 활용하는 RAG(Retrieval-Augmented Generation) 시스템의 성능을 결정짓는 가장 중요한 인프라.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순 키워드 매칭 중심에서, 이제는 사용자의 질문 맥락을 이해하는 시맨틱 검색(Semantic Search)과 하이브리드 검색(키워드+의미)이 검색 품질의 표준이 됨.
|
|
- **정책 변화:** Antigravity 프로젝트는 1,174개의 위키 문서 검색 시 BM25와 Dense Vector 검색을 앙상블한 하이브리드 IR 시스템을 사용하여 지식 탐색의 정확도를 극대화함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Indexing-Strategies]], Vector-Database-Foundations, NLP-Foundations, [[Hallucination-in-LLMs]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Information-Retrieval-IR.md
|