Antigravity Agent
2.3 KiB
2.3 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AI-OOD-DET-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Out-of-distribution Detection (분포 외 데이터 탐지)
📌 한 줄 통찰 (The Karpathy Summary)
"모르는 것을 모른다고 말할 줄 아는 정직함이 AI의 지능을 완성하며, 시스템의 치명적인 오판을 막는 최후의 보루가 된다" — 모델이 학습한 데이터 분포(In-distribution)와 확연히 다른 데이터(Out-of-distribution)가 입력되었을 때, 이를 식별하여 예측의 신뢰도를 관리하는 기술.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: "Uncertainty Quantification and Reject Option" — 모델의 출력 확률(Confidence)이 낮거나 특징 공간에서의 거리가 멀 때, 해당 입력을 '신뢰할 수 없음'으로 분류하고 처리를 거부하거나 인간에게 넘기는 방어적 지능 패턴.
- 주요 기법:
- Softmax-based: 출력층의 최대 확률값이 임계치보다 낮으면 OOD로 간주.
- Energy-based Models: 데이터의 에너지(부정합성) 수치를 계산하여 탐지.
- Generative Approach: 데이터를 생성 모델에 통과시켜 복원 오차가 크면 OOD로 판단.
- 의의: 자율주행차의 미학습 장애물 인식, 의료 AI의 희귀 질환 판단 등 안전이 직결된 분야에서 모델의 과잉 확신(Overconfidence)을 억제하고 신뢰할 수 있는 AI(Trustworthy AI)를 구현함.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 단순히 성능을 높이는 것에만 집중하던 단계에서, 이제는 성능만큼이나 '자신의 한계를 아는 능력'이 모델 평가의 핵심 지표로 부상함.
- 정책 변화: Antigravity 프로젝트는 에이전트가 처리 불가능한 복잡하거나 위험한 요청을 받았을 때, 내부적인 OOD 탐지 레이어를 거쳐 "현재 권한으로 수행할 수 없는 작업"임을 명확히 안내하고 상위 프로세스로 보고함.