29 lines
2.5 KiB
Markdown
29 lines
2.5 KiB
Markdown
---
|
|
id: AI-RAG-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, llm, rag, retrieval-augmented-generation, vector-database, semantic-search, embeddings]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# RAG and Document Retrieval (RAG와 문서 검색)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "모델의 기억력에만 의존하지 말고, 방대한 지식의 도서관(External Knowledge)에서 근거를 직접 찾아보고 말하게 하여 지능의 신뢰도를 완성하라" — 거대 언어 모델이 학습하지 않은 최신 데이터나 비공개 문서를 실시간으로 검색하여 답변의 정확성을 높이고 환각 현상을 줄이는 기술.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Retrieve-Read-Refine" — 사용자의 질문을 벡터로 변환하여 지식 저장소에서 가장 유사한 문맥을 찾아내고(Retrieve), 이를 질문과 함께 모델에 전달하여(Read), 모델이 근거 중심의 정확한 답변을 생성하게 하는(Refine) 패턴.
|
|
- **핵심 구성 요소:**
|
|
- **Embeddings:** 텍스트의 의미를 숫자의 나열(Vector)로 변환.
|
|
- **Vector Database:** 수백만 개의 벡터 사이에서 가장 닮은 것을 순식간에 찾는 저장소 (Pinecone, Milvus, Chroma 등).
|
|
- **Semantic Search:** 단순 키워드 매칭이 아닌 '의미적 유사성'을 기반으로 검색.
|
|
- **의의:** 매번 모델을 새로 학습(Fine-tuning)시키지 않고도 최신 지식을 즉각적으로 주입할 수 있으며, 답변의 출처를 명확히 제시하여 사용자의 신뢰를 확보함.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순히 많은 문서를 찾는 것이 좋다는 시각에서 벗어나, 이제는 모델에게 꼭 필요한 '핵심 문맥'만을 골라내는 정밀한 랭킹(Reranking) 기술과 긴 문맥을 소화하는 능력이 RAG 성능의 핵심 경쟁력이 됨.
|
|
- **정책 변화:** Antigravity 프로젝트는 1,174개 지식 문서의 유기적 연결을 위해 고도화된 RAG 엔진을 내장하며, 에이전트가 답변 시 반드시 위키 내의 관련 문서를 참조하여 답변하도록 강제함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Natural-Language-Processing-NLP|Natural-Language-Processing-NLP]], [[Prompt-Engineering-Foundations|Prompt-Engineering-Foundations]], Vector-Database-Foundations, Knowledge-Gardening-Workflow
|
|
- **Raw Source:** 10_Wiki/Topics/AI/RAG-and-Document-Retrieval.md
|