2nd/10_Wiki/Topics_GD/Explainable-AI-XAI.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
XAI-001	10_Wiki/💡 Topics/AI	1.0	ai xai explainable-ai transparency Interpretability|Interpretability	2026-04-26

Explainable AI (XAI, 설명 가능한 인공지능)

📌 한 줄 통찰 (The Karpathy Summary)

"모델이 '왜' 그런 판단을 내렸는지 인간의 언어로 증명하라" — 결과뿐만 아니라 그 결과에 도출된 과정과 근거를 인간이 이해할 수 있도록 제공하여, AI의 블랙박스 문제를 해결하고 신뢰성을 확보하는 기술.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 모델 내부의 복잡한 연산 과정을 중요도 맵(Heatmap), 특징 기여도(Feature Attribution), 혹은 자연어 설명으로 변환하여 사용자에게 투명성을 제공하는 해석 패턴.
• 주요 기법:
  • LIME / SHAP: 모델의 종류와 상관없이 특정 입력에 대한 예측 근거를 분석 (Post-hoc).
  • Attention Visualization: 트랜스포머 모델이 어떤 단어나 이미지 영역에 집중했는지 시각화.
  • CAM (Class Activation Map): 이미지 분류 시 어떤 픽셀 영역이 결정에 결정적이었는지 노출.
  • Rule-based SurroGates: 복잡한 모델을 단순한 의사결정 나무 등으로 근사하여 설명.
• 의의: 의료, 금융, 법률 등 고위험 의사결정 분야에서 AI 도입을 가능하게 하는 필수 조건.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 단순히 성능(Accuracy)만 높으면 된다는 관점에서, 성능을 조금 희생하더라도 '설명 가능성(Interpretability)'이 담보되어야 한다는 신뢰 중심 관점으로 전환.
• 정책 변화: Antigravity 프로젝트는 에이전트가 제안한 코드나 지식 보강 내용에 대해, 참고한 소스 문서와 추론 과정을 'Rationale' 세션으로 명시하여 사용자 검증을 돕도록 설계함.

🔗 지식 연결 (Graph)

• Trustworthy-AI, AI-Ethics, Decision-Making, Feature-Engineering
• Raw Source: 10_Wiki/Topics/AI/Explainable-AI-XAI.md