---
id: HALLUCINATION-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, llm, safety, alignment, uncertainty]
last_reinforced: 2026-04-26
---

# Hallucination in LLM (LLM의 환각 현상)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "모델은 '모른다'는 말 대신 가장 그럴듯한 거짓말을 선택한다" — 대규모 언어 모델이 학습 데이터에 없는 사실을 마치 사실인 것처럼 확신을 가지고 생성해내는 현상.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 다음 토큰의 확률을 예측하는 과정에서, 논리적 개연성보다는 통계적 유사성에 치우쳐 허구의 정보를 생성하는 인공지능의 오류 패턴.
- **발생 원인:**
    - **Training Data Noise:** 학습 데이터 자체에 포함된 잘못된 정보나 모순.
    - **Overfitting:** 특정 문구에 과하게 최적화되어 사실 관계를 왜곡.
    - **Stochastic Parrot:** 모델이 실제 지식을 이해하는 것이 아니라, 확률적으로 그럴듯한 단어 나열에 집중하기 때문.
- **완화 전략:**
    - **Retrieval-Augmented Generation (RAG):** 외부 지식 베이스를 참조하여 답변의 근거 확보.
    - **Self-Correction:** 생성된 답변을 모델 스스로 다시 검증하게 함.
    - **Prompt Engineering:** "모르는 내용은 모른다고 답하라"는 지침 명시.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 초기에는 해결 불가능한 구조적 결함으로 여겨졌으나, 최근에는 RAG 기술과 RLHF(인간 피드백 기반 강화학습)를 통해 발생 빈도를 획기적으로 낮추고 있음.
- **정책 변화:** Antigravity 프로젝트는 모든 지식 생성 시 RAG를 우선 적용하며, 생성된 문서는 반드시 교차 검증 단계를 거쳐 환각 리스크를 관리함.

## 🔗 지식 연결 (Graph)
- [[LLM|LLM]], [[RAG|RAG]], Reinforcement-Learning-from-Human-Feedback, AI-Safety
- **Raw Source:** 10_Wiki/Topics/AI/Hallucination-in-LLM.md