Antigravity Agent
29 lines
2.4 KiB
Markdown
29 lines
2.4 KiB
Markdown
---
|
|
id: AI-OOD-DET-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, deep-learning, ood-detection, reliability, anomaly-detection, trustworthy-ai]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Out-of-distribution Detection (분포 외 데이터 탐지)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "모르는 것을 모른다고 말할 줄 아는 정직함이 AI의 지능을 완성하며, 시스템의 치명적인 오판을 막는 최후의 보루가 된다" — 모델이 학습한 데이터 분포(In-distribution)와 확연히 다른 데이터(Out-of-distribution)가 입력되었을 때, 이를 식별하여 예측의 신뢰도를 관리하는 기술.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Uncertainty Quantification and Reject Option" — 모델의 출력 확률(Confidence)이 낮거나 특징 공간에서의 거리가 멀 때, 해당 입력을 '신뢰할 수 없음'으로 분류하고 처리를 거부하거나 인간에게 넘기는 방어적 지능 패턴.
|
|
- **주요 기법:**
|
|
- **Softmax-based:** 출력층의 최대 확률값이 임계치보다 낮으면 OOD로 간주.
|
|
- **Energy-based Models:** 데이터의 에너지(부정합성) 수치를 계산하여 탐지.
|
|
- **Generative Approach:** 데이터를 생성 모델에 통과시켜 복원 오차가 크면 OOD로 판단.
|
|
- **의의:** 자율주행차의 미학습 장애물 인식, 의료 AI의 희귀 질환 판단 등 안전이 직결된 분야에서 모델의 과잉 확신(Overconfidence)을 억제하고 신뢰할 수 있는 AI(Trustworthy AI)를 구현함.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순히 성능을 높이는 것에만 집중하던 단계에서, 이제는 성능만큼이나 '자신의 한계를 아는 능력'이 모델 평가의 핵심 지표로 부상함.
|
|
- **정책 변화:** Antigravity 프로젝트는 에이전트가 처리 불가능한 복잡하거나 위험한 요청을 받았을 때, 내부적인 OOD 탐지 레이어를 거쳐 "현재 권한으로 수행할 수 없는 작업"임을 명확히 안내하고 상위 프로세스로 보고함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Outlier-Detection-Techniques|Outlier-Detection-Techniques]], [[Trustworthy-AI|Trustworthy-AI]], Probability-Theory, Generative-Adversarial-Networks-GAN
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Out-of-distribution-Detection.md
|