Antigravity Agent
32 lines
2.0 KiB
Markdown
32 lines
2.0 KiB
Markdown
---
|
|
id: HALLUCINATION-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, llm, safety, alignment, uncertainty]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Hallucination in LLM (LLM의 환각 현상)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "모델은 '모른다'는 말 대신 가장 그럴듯한 거짓말을 선택한다" — 대규모 언어 모델이 학습 데이터에 없는 사실을 마치 사실인 것처럼 확신을 가지고 생성해내는 현상.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 다음 토큰의 확률을 예측하는 과정에서, 논리적 개연성보다는 통계적 유사성에 치우쳐 허구의 정보를 생성하는 인공지능의 오류 패턴.
|
|
- **발생 원인:**
|
|
- **Training Data Noise:** 학습 데이터 자체에 포함된 잘못된 정보나 모순.
|
|
- **Overfitting:** 특정 문구에 과하게 최적화되어 사실 관계를 왜곡.
|
|
- **Stochastic Parrot:** 모델이 실제 지식을 이해하는 것이 아니라, 확률적으로 그럴듯한 단어 나열에 집중하기 때문.
|
|
- **완화 전략:**
|
|
- **Retrieval-Augmented Generation (RAG):** 외부 지식 베이스를 참조하여 답변의 근거 확보.
|
|
- **Self-Correction:** 생성된 답변을 모델 스스로 다시 검증하게 함.
|
|
- **Prompt Engineering:** "모르는 내용은 모른다고 답하라"는 지침 명시.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 초기에는 해결 불가능한 구조적 결함으로 여겨졌으나, 최근에는 RAG 기술과 RLHF(인간 피드백 기반 강화학습)를 통해 발생 빈도를 획기적으로 낮추고 있음.
|
|
- **정책 변화:** Antigravity 프로젝트는 모든 지식 생성 시 RAG를 우선 적용하며, 생성된 문서는 반드시 교차 검증 단계를 거쳐 환각 리스크를 관리함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[LLM|LLM]], [[RAG|RAG]], Reinforcement-Learning-from-Human-Feedback, AI-Safety
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Hallucination-in-LLM.md
|