--- id: wiki-2026-0508-hallucination-in-llm title: Hallucination in LLM category: 10_Wiki/Topics status: needs_review canonical_id: self aliases: [HALLUCINATION-001] duplicate_of: none source_trust_level: A confidence_score: 1.0 tags: [ai, llm, safety, Alignment, uncertainty] raw_sources: [] last_reinforced: 2026-04-26 github_commit: pending inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08) --- # Hallucination in LLM (LLM의 환각 현상) ## 📌 한 줄 통찰 (The Karpathy Summary) > "모델은 '모른다'는 말 대신 가장 그럴듯한 거짓말을 선택한다" — 대규모 언어 모델이 학습 데이터에 없는 사실을 마치 사실인 것처럼 확신을 가지고 생성해내는 현상. ## 📖 구조화된 지식 (Synthesized Content) - **추출된 패턴:** 다음 토큰의 확률을 예측하는 과정에서, 논리적 개연성보다는 통계적 유사성에 치우쳐 허구의 정보를 생성하는 인공지능의 오류 패턴. - **발생 원인:** - **Training Data [[Noise|Noise]]:** 학습 데이터 자체에 포함된 잘못된 정보나 모순. - **[[Overfitting|Overfitting]]:** 특정 문구에 과하게 최적화되어 사실 관계를 왜곡. - **Stochastic Parrot:** 모델이 실제 지식을 이해하는 것이 아니라, 확률적으로 그럴듯한 단어 나열에 집중하기 때문. - **완화 전략:** - **Retrieval-Augmented Generation (RAG):** 외부 지식 베이스를 참조하여 답변의 근거 확보. - **Self-Correction:** 생성된 답변을 모델 스스로 다시 검증하게 함. - **prompt Engineering:** "모르는 내용은 모른다고 답하라"는 지침 명시. ## ⚠️ 모순 및 업데이트 (Contradictions & Updates) - **과거 데이터와의 충돌:** 초기에는 해결 불가능한 구조적 결함으로 여겨졌으나, 최근에는 RAG 기술과 RLHF(인간 피드백 기반 강화학습)를 통해 발생 빈도를 획기적으로 낮추고 있음. - **정책 변화:** Antigravity 프로젝트는 모든 지식 생성 시 RAG를 우선 적용하며, 생성된 문서는 반드시 교차 검증 단계를 거쳐 환각 리스크를 관리함. ## 🔗 지식 연결 (Graph) - [[LLM|LLM]], [[RAG|RAG]], [[Reinforcement-Learning|Reinforcement-Learning]]-from-Human-Feedback, AI-Safety - **Raw Source:** 10_Wiki/Topics/AI/Hallucination-in-LLM.md ## 🤖 LLM 활용 힌트 (How to Use This Knowledge) **언제 이 지식을 쓰는가:** - *(TODO)* **언제 쓰면 안 되는가:** - *(TODO)* ## 🧪 검증 상태 (Validation) - **정보 상태:** needs_review - **출처 신뢰도:** A - **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)* ## 🧬 중복 검사 (Duplicate Check) - **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)* - **처리 방식:** UPDATE (자동 정규화) - **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강. ## 🕓 변경 이력 (Changelog) | 날짜 | 변경 내용 | 처리 방식 | 신뢰도 | |------|-----------|-----------|--------| | 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |