---
id: XAI-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, xai, explainable-ai, transparency, interpretability]
last_reinforced: 2026-04-26
---

# Explainable AI (XAI, 설명 가능한 인공지능)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "모델이 '왜' 그런 판단을 내렸는지 인간의 언어로 증명하라" — 결과뿐만 아니라 그 결과에 도출된 과정과 근거를 인간이 이해할 수 있도록 제공하여, AI의 블랙박스 문제를 해결하고 신뢰성을 확보하는 기술.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 모델 내부의 복잡한 연산 과정을 중요도 맵(Heatmap), 특징 기여도(Feature Attribution), 혹은 자연어 설명으로 변환하여 사용자에게 투명성을 제공하는 해석 패턴.
- **주요 기법:**
    - **LIME / SHAP:** 모델의 종류와 상관없이 특정 입력에 대한 예측 근거를 분석 (Post-hoc).
    - **Attention Visualization:** 트랜스포머 모델이 어떤 단어나 이미지 영역에 집중했는지 시각화.
    - **CAM (Class Activation Map):** 이미지 분류 시 어떤 픽셀 영역이 결정에 결정적이었는지 노출.
    - **Rule-based Surrogates:** 복잡한 모델을 단순한 의사결정 나무 등으로 근사하여 설명.
- **의의:** 의료, 금융, 법률 등 고위험 의사결정 분야에서 AI 도입을 가능하게 하는 필수 조건.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 단순히 성능(Accuracy)만 높으면 된다는 관점에서, 성능을 조금 희생하더라도 '설명 가능성(Interpretability)'이 담보되어야 한다는 신뢰 중심 관점으로 전환.
- **정책 변화:** Antigravity 프로젝트는 에이전트가 제안한 코드나 지식 보강 내용에 대해, 참고한 소스 문서와 추론 과정을 'Rationale' 세션으로 명시하여 사용자 검증을 돕도록 설계함.

## 🔗 지식 연결 (Graph)
- [[Trustworthy-AI]], AI-Ethics, Decision-Making, [[Feature-Engineering]]
- **Raw Source:** 10_Wiki/Topics/AI/Explainable-AI-XAI.md