chore(wiki): reinforce knowledge batch #6-#10 (200 docs milestone)
This commit is contained in:
@@ -1,31 +1,28 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-SESE-001
|
||||
id: SEM-SEARCH-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 0.98
|
||||
tags: [auto-reinforced, semantic-search, embedding, vector-space, natural-language-understanding, rag]
|
||||
last_reinforced: 2026-04-20
|
||||
confidence_score: 1.0
|
||||
tags: [ai, nlp, semantic-search, information-retrieval, vector-search]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Semantic-Search]]
|
||||
# [[Semantic Search (의미 기반 검색)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "단어를 넘어 마음을 읽는 검색: 사용자가 '강아지 간식'이라고 쳤을 때, 'Puppy food'라는 단어가 들어간 문서까지 의미가 같음을 이해하고 찾아내는 지능형 탐색이자, '키워드 매칭'의 시대를 끝낸 의미의 혁명."
|
||||
> "단어가 아닌 '의도'와 '맥락'을 검색하라" — 단순한 키워드 매칭을 넘어 사용자의 질의가 가진 실제 의미와 데이터 사이의 개념적 유사성을 분석하여 가장 적절한 결과를 도출하는 검색 기술.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
시맨틱 검색(Semantic-Search)은 단순한 키워드 일치가 아닌, 검색어의 '의미'와 '맥락'을 이해하여 관련성 높은 정보를 찾는 기술입니다.
|
||||
|
||||
1. **구동 원리 (Vector Search)**:
|
||||
* 텍스트를 고차원 공간의 좌표(Embedding)로 변환. (Representation-Learning와 연결)
|
||||
* 질문과 문서 사이의 '거리(Cosine Similarity)'를 계산해 가장 가까운 의미를 도출.
|
||||
* **Context Awareness**: 문맥에 따라 같은 단어도 다르게 해석 (예: 배(Ship/Fruit)).
|
||||
2. **왜 중요한가?**:
|
||||
* 사용자는 전문가처럼 정확한 검색어를 쓰지 못할 때가 많은데, 시맨틱 검색은 개떡같이 말해도 찰떡같이 알아들어 정보 접근성을 폭발적으로 높이기 때문임. (Search의 완성형)
|
||||
- **추출된 패턴:** 텍스트를 고차원 벡터 공간의 점(Embedding)으로 변환하여, 키워드가 달라도 의미적으로 가까운(Vector Distance가 작은) 데이터를 찾아내는 개념적 매칭 패턴.
|
||||
- **세부 내용:**
|
||||
- **Vector Embeddings:** 문장의 의미를 수치화된 벡터로 표현 (예: BERT, Ada 등 사용).
|
||||
- **Similarity Measures:** 코사인 유사도 등을 통해 두 벡터 사이의 거리와 방향성을 계산.
|
||||
- **Intent Understanding:** 사용자의 질문 의도를 파악하여 관련 지식을 추론 (예: '애플' 검색 시 과일인지 기업인지 문맥으로 판단).
|
||||
- **Hybrid Search:** 전통적인 키워드 검색(BM25)과 의미 기반 검색을 결합하여 정확도와 포괄성을 동시에 확보.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 'Elasticsearch' 같은 키워드 엔진 정책이 전부였으나, 현대 정책은 벡터 데이터베이스 정책(Pinecone, Milvus 등)을 활용한 시맨틱 검색 정책이 LLM과 결합(RAG)하여 지능형 비서의 표준 정책이 됨(RL Update). (RAG와 연결)
|
||||
- **정책 변화(RL Update)**: 본 지식 시스템 또한 향후 수천 개의 파일을 의미 정책으로 엮어, 대표님이 "생산성에 관한 지식 다 가져와"라고 하면 관련 파일들을 시맨틱하게 뽑아내는 구조 정책을 지향함.
|
||||
- **과거 데이터와의 충돌:** 오타나 동의어 처리가 힘들었던 키워드 검색의 한계를 딥러닝 임베딩 기술을 통해 원천적으로 해결.
|
||||
- **정책 변화:** Antigravity 프로젝트의 위키 검색 엔진은 기본적으로 의미 기반 검색을 수행하며, 이를 통해 사용자가 모호하게 질문해도 정확한 위키 문서를 찾아 연결함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Representation-Learning]], [[Search]], [[RAG]], [[Vector-Database]], [[UX]], [[Information-Society]]
|
||||
- **Modern Tech/Tools**: Pinecone, Weaviate, Cohere Rerank, OpenAI Embeddings.
|
||||
---
|
||||
- [[Word-Embeddings]], [[Vector-Database]], [[RAG]], [[NLP]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Semantic-Search.md]]
|
||||
|
||||
Reference in New Issue
Block a user