Antigravity Agent
3.6 KiB
3.6 KiB
id, date, type, standard, tags
| id | date | type | standard | tags | |||
|---|---|---|---|---|---|---|---|
| mission_4a023106698f | 2026-05-05T16:39:08.000Z | knowledge_artifact | P-Reinforce v3.0 |
|
LLM Hallucinations
📌 Brief Summary
LLM 환각(Hallucinations)은 대규모 언어 모델(LLM)이 허위 주장이나 오류, 신뢰할 수 없는 결과물을 생성하는 현상을 의미합니다 [1, 2]. 이는 LLM이 견고한 세계 모델(world models)을 기반으로 구축된 것이 아니라, 정교한 패턴 매칭과 자동 완성 기능에 의존하기 때문에 구조적으로 발생할 수밖에 없는 문제입니다 [2, 3]. 이러한 환각 현상은 의료, 교육, 금융과 같이 위험 부담이 큰(high-stakes) 분야에서 AI의 유용성을 심각하게 제한하고 있습니다 [2].
📖 Core Content
- 발생 원인과 구조적 한계: LLM은 진정한 이해나 의도를 가진 시스템이 아니라 텍스트를 자동 완성하는 "합성 텍스트 추출 기계(synthetic text-extruding machines)"에 불과합니다 [3, 4]. 적절한 세계 모델이 결여되어 있기 때문에 훈련 데이터를 벗어난 영역에서 사용될 때 필연적으로 오류를 범하고 환각을 일으킵니다 [1, 3].
- 증가하는 오류 및 허위 정보 비율: 최근 연구에 따르면 챗봇이 논란이 되는 뉴스 주제에 대해 허위 주장을 퍼뜨리는 비율은 35%로, 전년도(18%)의 거의 두 배에 달했습니다 [2]. 모델별 허위 정보 생성 비율은 Inflection AI 57%, Perplexity 47%, Meta 및 ChatGPT가 40%로 나타났습니다 [2].
- 데이터 오염과 모델 붕괴(Model Collapse): 진본 훈련 데이터가 고갈됨에 따라 LLM이 AI가 생성한 '합성' 데이터(AI-slop)를 학습하는 비중이 지수함수적으로 증가하고 있습니다 [5, 6]. '쓰레기가 들어가면 쓰레기가 나온다(GIGO)'는 원칙에 따라, 모델 세대가 거듭될수록 오류가 누적되어 모델이 정확성, 다양성, 신뢰성을 잃는 모델 붕괴 현상이 발생합니다 [5].
- 고위험 산업에서의 실질적 위험: 의료 분야에서 AI 진단 도구는 특정 훈련 환경을 벗어나면 성능이 크게 저하되며 과도한 '위양성(false positives)'을 생성합니다 [7, 8]. 이는 간호사 등 의료진의 임상적 판단과 모순되어 환자 안전을 위협할 수 있습니다 [8]. 소프트웨어 개발에서도 AI를 사용하면 보안 위험과 심각한 코드 오류가 유발될 수 있습니다 [2, 9].
⚖️ Trade-offs & Caveats
- 인적 개입의 한계와 비용: 환각과 부정확성을 완화하기 위해 AI 기업들은 수만 명의 인간 평가자(AI-raters)를 고용하여 AI 응답을 검토하고 수정해야 하는 모순적인 상황에 처해 있습니다 [10].
- 생산성 저하와 작업 낭비: 개발자들은 AI가 생성한 코드를 검토하고 수정하느라 오히려 혼자 코딩할 때보다 19%의 시간을 더 소모하고 있습니다 [9]. 실질적 내용이 없는 AI 생성물인 '워크슬롭(workslop)'을 바로잡는 데만 1만 명 규모의 기업에서 연간 약 900만 달러의 시간적 비용이 낭비되고 있습니다 [11].
- 사회적 신뢰 훼손 및 정보 오염: 환각으로 조작된 허위 뉴스와 정보(disinformation)가 지속적으로 과잉 공급되면서 학문적 탐구와 사회적 신뢰 기반이 심각하게 훼손되고 있습니다 [12, 13]. 특히 특정 챗봇이 생성한 허위 정보는 다른 LLM에까지 학습되어 AI 생태계 전반을 오염시키는 연쇄 작용(self-poisoning)을 일으킵니다 [6, 14].
Last updated: 2026-05-05