Hallucination in LLM (LLM의 환각 현상)

📌 한 줄 통찰 (The Karpathy Summary)

"모델은 '모른다'는 말 대신 가장 그럴듯한 거짓말을 선택한다" — 대규모 언어 모델이 학습 데이터에 없는 사실을 마치 사실인 것처럼 확신을 가지고 생성해내는 현상.

추출된 패턴: 다음 토큰의 확률을 예측하는 과정에서, 논리적 개연성보다는 통계적 유사성에 치우쳐 허구의 정보를 생성하는 인공지능의 오류 패턴.
발생 원인:
- Training Data Noise: 학습 데이터 자체에 포함된 잘못된 정보나 모순.
- Overfitting: 특정 문구에 과하게 최적화되어 사실 관계를 왜곡.
- Stochastic Parrot: 모델이 실제 지식을 이해하는 것이 아니라, 확률적으로 그럴듯한 단어 나열에 집중하기 때문.
완화 전략:
- Retrieval-Augmented Generation (RAG): 외부 지식 베이스를 참조하여 답변의 근거 확보.
- Self-Correction: 생성된 답변을 모델 스스로 다시 검증하게 함.
- prompt Engineering: "모르는 내용은 모른다고 답하라"는 지침 명시.

과거 데이터와의 충돌: 초기에는 해결 불가능한 구조적 결함으로 여겨졌으나, 최근에는 RAG 기술과 RLHF(인간 피드백 기반 강화학습)를 통해 발생 빈도를 획기적으로 낮추고 있음.
정책 변화: Antigravity 프로젝트는 모든 지식 생성 시 RAG를 우선 적용하며, 생성된 문서는 반드시 교차 검증 단계를 거쳐 환각 리스크를 관리함.