2nd/10_Wiki/Topics/AI_and_ML/Hallucination-in-LLM.md

id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, tags, raw_sources, last_reinforced, github_commit, inferred_by

id	title	category	status	canonical_id	aliases	duplicate_of	source_trust_level	confidence_score	tags	raw_sources	last_reinforced	github_commit	inferred_by
wiki-2026-0508-hallucination-in-llm	Hallucination in LLM	10_Wiki/Topics	needs_review	self	HALLUCINATION-001	none	A	1.0	ai llm safety Alignment uncertainty		2026-04-26	pending	Claude Opus 4.7 (auto-normalize 2026-05-08)

Hallucination in LLM (LLM의 환각 현상)

📌 한 줄 통찰 (The Karpathy Summary)

"모델은 '모른다'는 말 대신 가장 그럴듯한 거짓말을 선택한다" — 대규모 언어 모델이 학습 데이터에 없는 사실을 마치 사실인 것처럼 확신을 가지고 생성해내는 현상.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 다음 토큰의 확률을 예측하는 과정에서, 논리적 개연성보다는 통계적 유사성에 치우쳐 허구의 정보를 생성하는 인공지능의 오류 패턴.
• 발생 원인:
  • Training Data Noise: 학습 데이터 자체에 포함된 잘못된 정보나 모순.
  • Overfitting: 특정 문구에 과하게 최적화되어 사실 관계를 왜곡.
  • Stochastic Parrot: 모델이 실제 지식을 이해하는 것이 아니라, 확률적으로 그럴듯한 단어 나열에 집중하기 때문.
• 완화 전략:
  • Retrieval-Augmented Generation (RAG): 외부 지식 베이스를 참조하여 답변의 근거 확보.
  • Self-Correction: 생성된 답변을 모델 스스로 다시 검증하게 함.
  • prompt Engineering: "모르는 내용은 모른다고 답하라"는 지침 명시.

⚠️ 모순 및 업데이트 (Contradictions & Updates)

• 과거 데이터와의 충돌: 초기에는 해결 불가능한 구조적 결함으로 여겨졌으나, 최근에는 RAG 기술과 RLHF(인간 피드백 기반 강화학습)를 통해 발생 빈도를 획기적으로 낮추고 있음.
• 정책 변화: Antigravity 프로젝트는 모든 지식 생성 시 RAG를 우선 적용하며, 생성된 문서는 반드시 교차 검증 단계를 거쳐 환각 리스크를 관리함.

🔗 지식 연결 (Graph)

• LLM, RAG, Reinforcement-Learning-from-Human-Feedback, AI-Safety
• Raw Source: 10_Wiki/Topics/AI/Hallucination-in-LLM.md

🤖 LLM 활용 힌트 (How to Use This Knowledge)

언제 이 지식을 쓰는가:

• (TODO)

언제 쓰면 안 되는가:

• (TODO)

🧪 검증 상태 (Validation)

• 정보 상태: needs_review
• 출처 신뢰도: A
• 검토 이유: (P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)

🧬 중복 검사 (Duplicate Check)

• 기존 유사 문서: (TODO: 인덱서 클러스터 리포트 참조)
• 처리 방식: UPDATE (자동 정규화)
• 처리 이유: Phase 1 정규화 — 옛 템플릿/누락 필드 보강.

🕓 변경 이력 (Changelog)

날짜	변경 내용	처리 방식	신뢰도
2026-05-08	P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화)	UPDATE	A