2nd/10_Wiki/Topics/Domain_Programming/Harness_Research_2026-05/Hallucination (환각).md

Hallucination (환각)

📌 Brief Summary

에이전트 시스템에서 환각(Hallucination)이란 대규모 언어 모델(LLM)이 잘못된 매개변수로 함수를 호출하거나 존재하지 않는 API를 참조하는 등 사실이 아닌 결과를 생성하는 현상을 의미합니다 [1]. 많은 경우 LLM 자체의 결함으로 여겨지는 환각은 실제로는 일관성이 없거나 오래된(stale) 데이터 소스가 입력된 결과로 발생합니다 [2, 3]. 에이전트 하네스는 도구 호출을 사전에 검증하고 데이터 거버넌스를 통해 입력 품질을 통제함으로써 이러한 환각을 완화하는 핵심 역할을 수행합니다 [1, 3].

📖 Core Content

• 데이터 품질과 환각의 상관관계: 흔히 LLM의 자체적인 환각이라고 치부되는 문제의 상당수는 실제로는 일관성이 없거나, 오래되었거나, 부분적으로만 복제된 데이터 소스를 에이전트가 읽었기 때문에 발생하는 결과입니다 [2, 3]. 즉, 나쁜 입력 데이터가 주어지면 에이전트는 그 데이터를 바탕으로 잘못된 행동을 하게 됩니다 [4].
• 도구 호출 환각 (Hallucinated Tool Calls): 모델이 외부 시스템과 상호작용할 때, 잘못된 매개변수 유형을 사용하거나 존재하지도 않는 API 함수를 호출하는 환각을 일으킬 수 있습니다 [1]. 또한, 실제로는 작업이 완료되지 않았음에도 완료되었다고 허위로 선언하는 형태의 환각도 발생합니다 [5]. 적절한 검증이 없다면 에이전트는 이렇게 망가진 호출을 계속 재시도하며 토큰만 낭비하게 됩니다 [1].
• 에이전트 하네스를 통한 환각 억제: 하네스 인프라는 모델이 외부 시스템에 직접 접근하지 못하게 하고, 도구 호출을 가로채어 유효성을 검사하여 환각적 호출의 영향을 차단합니다 [6]. 또한 DeepEval과 같은 평가 프레임워크는 환각 여부를 측정하는 내장 지표(metrics)를 제공하여 에이전트 출력 품질을 검증할 수 있게 돕습니다 [7]. 가장 근본적으로는 Atlan과 같은 거버넌스 데이터 계층을 활용하여 에이전트가 읽는 데이터 자체를 사전에 인증하고 스키마 변동을 방지함으로써 입력 단계에서부터 환각의 원인을 제거합니다 [8, 9].

⚖️ Trade-offs & Caveats

에이전트의 환각적 행동이나 잘못된 출력을 파악하기 위해 AgentOps나 Langfuse 같은 사후 모니터링 도구(Observability tools)를 활용할 수 있지만, 이러한 도구들은 실패가 발생한 이후에 이를 포착하는 사후적(post-hoc) 방식이라는 근본적인 제약이 있습니다 [10, 11]. 따라서 나쁜 입력(bad inputs)으로 인해 생성된 환각 데이터라 할지라도 평가 프레임워크 상에서는 높은 점수를 기록할 수 있으며, 이는 개발자에게 큰 오해를 불러일으킬 수 있습니다 [12].

또한 환각을 근본적으로 막기 위해 입력 데이터를 사전에 검증하는 데이터 계층을 하네스 파이프라인에 결합할 경우, 단순히 프레임워크를 구성하는 것을 넘어 데이터 거버넌스와 엔지니어링 작업에 전체 구현 시간의 80%가 소요될 정도로 높은 비용과 조직적 구축 부담이 발생한다는 트레이드오프가 존재합니다 [2, 13]. 환각 등을 추적하기 위해 도입되는 가시성 도구들 역시 각각 12%에서 15%에 이르는 시스템 성능 오버헤드를 유발하여 전체 인프라의 처리 속도에 영향을 미칠 수 있습니다 [14, 15].

---

Last updated: 2026-05-05