Antigravity Agent
0441f6e2a2
- Formalized automatic record migration protocol in System Manual. - Integrated high-density knowledge for RAG, AI, Business Strategy, and Leadership. - Enhanced graph connectivity across core strategic hubs. - Archived raw data and updated timeline records.
3.5 KiB
3.5 KiB
환각(Hallucination) 방지 및 자기 반성(Self-Reflective RAG)
📌 Brief Summary
대형 언어 모델(LLM)의 주요 한계인 환각(Hallucination) 현상을 방지하기 위해 검색 증강 생성(RAG)이 도입되었으며, 이는 신뢰할 수 있는 외부 지식을 바탕으로 답변을 생성하여 환각을 42~68%까지 감소시킵니다 [1, 2]. 이 중에서도 자기 반성(Self-Reflective RAG, Self-RAG)은 시스템이 자체적으로 검색 및 생성 품질을 평가하는 진화된 형태의 RAG 기술입니다 [3, 4]. Self-RAG는 정보 검색의 필요성을 판단하고, 검색된 문서의 관련성을 평가하며, 생성된 답변의 정확성을 스스로 비판하여 필요시 반복적으로 개선하는 메커니즘을 갖추고 있습니다 [3, 5].
📖 Core Content
- 환각 현상의 한계와 RAG의 도입: 표준 LLM은 최신 지식의 부재와 내부 데이터 접근 불가로 인해 28.6%에서 최대 91.3%에 달하는 높은 환각 발생률을 보입니다 [6]. 이를 극복하기 위해 도입된 RAG 기술은 외부 지식 베이스에서 관련 정보를 검색하고 이를 컨텍스트로 제공하여 답변을 생성함으로써 환각 현상을 42~68%까지 줄이고 신뢰성을 확보합니다 [1, 2].
- 자기 반성(Self-Reflective RAG)의 핵심 메커니즘: Self-RAG는 검색을 고정된 파이프라인이 아닌 동적이고 조건적인 작업으로 취급하여 시스템 스스로 평가와 수정을 수행합니다 [5].
- 검색 필요성 감지(Retrieval necessity detection): 외부 정보가 필요한 시점을 시스템이 스스로 결정합니다 [3].
- 관련성 평가(Relevance assessment): 검색된 문서나 정보가 유용한지, 그리고 생성된 답변의 근거로 적절한지 자체적으로 평가합니다 [3, 4].
- 자기 비판 및 반복 개선(Self-critique & Iterative refinement): 생성된 응답의 정확성을 분석하여 신뢰도가 낮거나 정보 공백이 발견되면 응답을 재생성하거나 추가 검색을 트리거합니다 [3, 7].
- 성능 향상: 이러한 자가 평가 메커니즘을 통해 무관한 정보의 검색을 25~40% 감소시키며, 시스템의 신뢰성과 답변의 정확도를 획기적으로 높일 수 있습니다 [4, 5].
⚖️ Trade-offs & Caveats
- 무한 검색 루프 및 과도한 검색 위험: Self-RAG 및 에이전틱 시스템은 스스로 검색 품질을 확인하지만, 확신 수준(Confidence calibration)의 균형이 무너지면 불필요하게 많은 검색을 수행(Over-retrieval)하거나, 동일한 정보를 반복해서 가져오며 답변을 내지 못하는 무한 검색 루프에 빠질 수 있습니다 [5, 8]. 이를 방지하기 위해 쿼리당 최대 검색 예산을 설정하고 루프 감지 알고리즘을 도입해야 합니다 [8].
- 감사(Auditing) 및 설명 가능성의 부재: 에이전트가 어떤 근거로 특정 검색 결정을 내렸는지 추론 과정이 불투명(Opaque)해지기 쉽습니다 [8]. 특히 규제가 엄격한 산업에서는 AI의 의사 결정 과정을 감사할 수 있어야 하지만, 에이전트의 검색 결정을 감사하기 위한 표준화된 방법론이 부족한 상태입니다 [9]. 따라서 에이전트의 검색 결정을 비즈니스 로직과 연결하여 설명할 수 있는 구조적 로깅 및 추적(Observability) 기능의 구현이 필수적입니다 [8].
Last updated: 2026-05-04