Information Retrieval (IR, 정보 검색)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터의 바다에서 단순한 키워드가 아닌, 사용자의 질문과 가장 밀접한 '의미의 정수'를 건져 올려라" — 비정형 데이터셋에서 사용자의 정보 요구(Query)에 부합하는 유효한 정보를 찾아내고, 관련성(Relevance)에 따라 순위를 매겨 제공하는 학문 및 기술.

추출된 패턴: "Retrieve and Rank" — 1단계에서 대량의 데이터 중 후보군을 빠르게 추출(Retrieval)하고, 2단계에서 정교한 모델을 통해 최적의 순서를 결정(Ranking)하는 단계적 필터링 패턴.
핵심 모델:
- Boolean Model: 키워드의 존재 여부만 판단 (고전적 방식).
- Vector Space Model (TF-IDF, BM25): 단어 빈도와 희소성을 바탕으로 문서의 중요도 계산.
- Neural IR (Dense Retrieval): 임베딩 벡터 간 유사도를 통해 의미론적 검색 수행 (현대적 방식).
평가 지표: Precision, Recall, F1-Score, 그리고 순위의 정확도를 측정하는 MRR, nDCG 등.
의의: AI 에이전트가 외부 지식을 활용하는 RAG(Retrieval-Augmented Generation) 시스템의 성능을 결정짓는 가장 중요한 인프라.

과거 데이터와의 충돌: 단순 키워드 매칭 중심에서, 이제는 사용자의 질문 맥락을 이해하는 시맨틱 검색(Semantic Search)과 하이브리드 검색(키워드+의미)이 검색 품질의 표준이 됨.
정책 변화: Antigravity 프로젝트는 1,174개의 위키 문서 검색 시 BM25와 Dense Vector 검색을 앙상블한 하이브리드 IR 시스템을 사용하여 지식 탐색의 정확도를 극대화함.