2nd/01_Archive/2026-05-04/TF-IDF - BM25.md

TF-IDF / BM25

📌 Brief Summary

TF-IDF(Term Frequency-Inverse Document Frequency)와 BM25는 전통적인 키워드 기반 검색(어휘 검색)에서 텍스트의 유사도를 측정하고 검색 결과의 순위를 매기는 데 사용되는 대표적인 정보 검색 알고리즘이다 [1-3]. 이들은 단어가 문서 내에서 등장하는 빈도(term frequency)와 전체 문서 집합에서 해당 단어가 얼마나 희귀한지를 나타내는 역문서 빈도(inverse document frequency)를 기반으로 단어의 중요도를 평가한다 [4-6]. BM25는 TF-IDF의 개념을 바탕으로 발전된 가장 대중적인 검색 모델 중 하나로 널리 활용되고 있다 [5].

📖 Core Content

• 작동 원리 및 중요도 측정: TF-IDF 알고리즘은 단순히 단어가 나타나는 횟수를 세는 '단어 주머니(bag of words)' 방식을 개선한 알고리즘으로, 문서 전체에 대한 특정 단어의 중요도를 측정한다 [6]. 단어의 빈도와 문서 구조를 기반으로 검색 결과를 평가하며, BM25는 이 TF-IDF 개념을 활용한 가장 인기 있는 모델이다 [4, 5].
• 정보 검색 아키텍처에서의 활용: 대규모 정보 검색 시스템에서는 빠른 쿼리 평가를 허용하는 BM25와 같은 단순한 검색 모델을 사용하여 첫 번째 단계인 상위 K개(top-k) 문서 검색을 수행해 잠재적으로 관련성이 높은 소수의 문서를 빠르게 식별한다 [7]. 이후 계산 비용이 높은 머신러닝 모델을 활용해 식별된 문서들의 순위를 다시 매기는(Re-rank) 방식으로 활용된다 [7].
• 학습 기반 랭킹(LTR)의 주요 자질(Feature): 기계 학습을 통해 검색 순위를 매기는 LTR 알고리즘 환경에서 TF-IDF와 BM25 점수는 '질의 종속적(Query-dependent) 특성' 혹은 '질의-문서(Query-document) 특성'으로 매우 중요하게 사용된다 [8, 9]. 문서의 제목, 본문, URL 등 여러 영역에서 계산된 TF-IDF 및 BM25 점수를 특성 벡터(Feature Vectors)로 추출하여, 랭킹 모델이 문서의 관련성을 판단하도록 정보를 제공한다 [8, 10].
• 하이브리드 검색(Hybrid Search)과의 결합: 최신 검색 증강 생성(RAG) 파이프라인이나 기업용 정보 검색에서는 밀집 벡터(Dense vector) 기반의 의미론적 검색과 결합한 하이브리드 검색으로 자주 활용된다 [11, 12]. BM25는 정확한 키워드 매칭(exact-match)과 전문 용어 검색에 유리하므로, 벡터 검색이 가지는 한계를 상호 보완하여 검색의 신뢰성을 크게 향상시킨다 [11, 12].

⚖️ Trade-offs & Caveats

• 문맥과 의미 이해의 부재: TF-IDF 및 BM25는 검색어와 문서에 포함된 단어의 정확한 어휘적(물리적) 일치에만 의존하기 때문에 텍스트의 문맥이나 사용자의 의도를 깊이 있게 이해하지 못한다 [3, 4].
• 동의어 및 모호성 처리의 한계: 이들 알고리즘은 의미론적 파악이 불가능하므로, 의미는 같지만 철자가 다른 동의어나 중의적인 언어를 제대로 처리하는 데 어려움을 겪는다 [4]. 예를 들어, "Java"가 프로그래밍 언어인지 커피인지를 구분하거나 "개"와 "강아지"의 의미적 유사성을 연결하는 데 한계가 있다 [3, 4].
• 오타 및 길고 복잡한 질의에 대한 취약성: 짧고 명확한 키워드 검색에는 속도가 빠르고 효율적이지만, 자연어 형태의 대화형 질문이나 철자 오류(오타)가 있는 쿼리를 처리할 경우 관련성이 없거나 일관성 없는 검색 결과를 도출할 위험이 있다 [13].

---

Last updated: 2026-05-04