Similarity Metrics in AI (AI에서의 유사도 메트릭)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터를 고차원 벡터의 좌표로 변환하고, 그들 사이의 '거리'와 '각도'를 측정하여 보이지 않는 의미적 유사성을 수치화하라" — 두 데이터 객체가 서로 얼마나 닮았는지 정량적으로 측정하기 위한 수학적 척도들의 총합.

추출된 패턴: "Vector Distance and Semantic Proximity" — 텍스트, 이미지, 사용자 행동 등을 수치 벡터로 투영하고, 선택한 메트릭에 따라 기하학적 거리를 계산하여 분류, 클러스터링, 추천 등에 활용하는 패턴.
주요 유사도 메트릭:
- Cosine Similarity: 두 벡터 사이의 각도 측정. 벡터의 크기보다 '방향(의미)'이 중요할 때(예: 텍스트 분석) 최적.
- Euclidean Distance: 두 점 사이의 직선 거리. 데이터의 물리적 수치 차이가 중요할 때 사용.
- Jaccard Similarity: 두 집합 사이의 겹침 정도 측정. 키워드 공유 여부 분석에 용이.
- Manhattan Distance: 격자 구조에서의 거리. 고차원 데이터에서 유클리드 거리의 한계를 보완할 때 사용.
의의: 시맨틱 검색, 추천 시스템, 중복 데이터 제거 등 현대 AI 서비스의 거의 모든 '비교' 로직의 핵심 수학적 근간.

과거 데이터와의 충돌: 단순히 거리가 가까우면 비슷하다는 가정을 넘어, 이제는 데이터의 분포와 밀도를 고려한 마할라노비스 거리(Mahalanobis Distance)나 학습된 신경망 기반의 유사도 측정(Deep Metric Learning)이 복잡한 데이터 분석의 표준이 됨.
정책 변화: Antigravity 프로젝트는 지식 문서 간의 연관 관계 산출 시, 문맥적 의미 보존율이 높은 코사인 유사도를 기본 메트릭으로 채택하며 필요에 따라 리랭킹 모델을 병행함.

Semantic-Search-with-AI, Vector-Database-Foundations, Recommendation-Systems, Cluster-Analysis-Techniques
Raw Source: 10_Wiki/Topics/AI/Similarity-Metrics-in-AI.md