[G1-Sync] Manual knowledge update

This commit is contained in:
Antigravity Agent
2026-05-10 22:08:15 +09:00
parent 21ac3ed255
commit 504fd5fb42
3011 changed files with 380280 additions and 206977 deletions
@@ -1,63 +1,119 @@
---
id: wiki-2026-0508-mean-absolute-error-mae
title: Mean Absolute Error MAE
title: Mean Absolute Error (MAE)
category: 10_Wiki/Topics
status: needs_review
status: verified
canonical_id: self
aliases: [MATH-MAE-001]
aliases: [MAE, L1 Loss, Mean Absolute Error]
duplicate_of: none
source_trust_level: A
confidence_score: 1.0
tags: ["Statistics|[Statistics", machine-learning, loss-functions, mae, l1-loss, evaluation-metrics]
confidence_score: 0.9
verification_status: applied
tags: [loss-function, regression, l1, robust, metric]
raw_sources: []
last_reinforced: 2026-04-26
last_reinforced: 2026-05-10
github_commit: pending
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
tech_stack: { language: python, framework: sklearn-pytorch }
---
# Mean Absolute Error (MAE, 평균 절대 오차)
# Mean Absolute Error (MAE)
## 📌 한 줄 통찰 (The Karpathy Summary)
> "오차의 크기를 왜곡 없이 있는 그대로 직면하여, 평균적인 예측의 오판 가능성을 측정하라" — 실제값과 예측이의 모든 절대적인 차이를 산술 평균하여 구하는 회귀 모델의 성능 평가 및 손실 함수 지표.
## 한 줄
> **"매 오차를 그대로, 매 outlier 에 강하게"**. MAE 는 예측과 실제이의 절댓값 평균이며, MSE 와 달리 큰 오차를 제곱으로 부풀리지 않아 outlier 에 robust 하다.
## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Linear Error Penalization" — 오차에 제곱을 가하지 않고 선형적으로 페널티를 부여함으로써, 소수의 극단적인 오차(이상치)가 전체 손실값에 미치는 영향을 억제하고 데이터의 보편적인 경향성을 학습하게 하는 패턴.
- **수식:** $\frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i|$
- **주요 특징:**
- **[[Robustness|Robustness]]:** 이상치에 강건함. (MSE 대비 이상치의 영향력이 작음)
- **[[Interpretability|Interpretability]]:** 오차의 단위가 타겟 변수의 단위와 동일하여 "평균적으로 얼마의 차이가 난다"라는 직관적 이해 가능.
- **의의:** 금융 데이터 분석이나 기상 예측처럼 소수의 예외적인 데이터가 전체 모델을 흔들지 않아야 하는 견고한(Robust) 시스템 설계의 핵심 지표.
## 매 핵심
### 매 정의
$$\text{MAE} = \frac{1}{n}\sum_{i=1}^{n} |y_i - \hat{y}_i|$$
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
- **과거 데이터와의 충돌:** 미분이 불가능한 지점(오차가 0일 때)이 있어 최적화에 불리하다는 전통적 비판이 있었으나, 현대 딥러닝 프레임워크는 이를 수치적으로 해결하여 역전파 과정에서 안정적으로 사용 가능하게 함.
- **정책 변화:** Antigravity 프로젝트는 에이전트의 작업 소요 시간 예측 모델 평가 시, 비정상적으로 긴 작업 시간이 전체 성능 통계를 왜곡하지 않도록 MAE를 주 평가지표로 사용함.
- 단위가 target 과 동일 → 해석 직관적.
- gradient 는 ±1 (0 에서 미분 불가, sub-gradient 사용).
- 최적해는 **median** (MSE 의 mean 과 대비).
## 🔗 지식 연결 (Graph)
- [[Mean-Squared-Error-MSE|Mean-Squared-Error-MSE]], [[Loss-Functions-Foundations|Loss-Functions-Foundations]], [[Manhattan-Distance|Manhattan-Distance]], [[Supervised-Learning-Foundations|Supervised-Learning-Foundations]]
- **Raw Source:** 10_Wiki/Topics/AI/Mean-Absolute-Error-MAE.md
### 매 vs MSE
1. **MSE**: outlier penalize 강함, gradient 가 오차에 비례 → 큰 오차 빠르게 줄임. mean 으로 수렴.
2. **MAE**: outlier 영향 작음, gradient 일정 → 학습 후반 수렴 느림. median 으로 수렴.
3. **Huber**: |e| 작을 때 MSE, 클 때 MAE — 둘의 절충.
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
### 매 사용처
1. outlier 가 데이터 본질이 아니라 noise 인 회귀.
2. 예측 오차의 단위 의미가 중요한 비즈니스 지표 (배송시간, 판매량).
3. quantile / median regression.
**언제 이 지식을 쓰는가:**
- *(TODO)*
## 💻 패턴
### 1. NumPy 직접
```python
import numpy as np
mae = np.mean(np.abs(y_true - y_pred))
```
**언제 쓰면 안 되는가:**
- *(TODO)*
### 2. sklearn metric
```python
from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)
```
## 🧪 검증 상태 (Validation)
### 3. PyTorch L1Loss
```python
import torch.nn as nn
criterion = nn.L1Loss() # mean reduction
loss = criterion(pred, target)
```
- **정보 상태:** needs_review
- **출처 신뢰도:** A
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
### 4. PyTorch SmoothL1 (Huber)
```python
nn.SmoothL1Loss(beta=1.0) # |e|<beta → 0.5 e^2/beta, else |e|-0.5*beta
```
## 🧬 중복 검사 (Duplicate Check)
### 5. Custom weighted MAE
```python
def weighted_mae(y, p, w):
return (w * (y - p).abs()).sum() / w.sum()
```
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
- **처리 방식:** UPDATE (자동 정규화)
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
### 6. sklearn regressor 학습 시 MAE 최소화
```python
from sklearn.linear_model import HuberRegressor
from lightgbm import LGBMRegressor
m = LGBMRegressor(objective='regression_l1') # L1 = MAE
```
## 🕓 변경 이력 (Changelog)
### 7. MAPE (percentage 변형)
```python
mape = np.mean(np.abs((y - p) / y)) * 100 # y!=0 보장
```
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|------|-----------|-----------|--------|
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
## 매 결정 기준
| 상황 | Loss |
|---|---|
| outlier 가 noise | MAE / Huber |
| outlier 가 signal (사기탐지 등) | MSE |
| 균형 + smooth gradient | Huber/SmoothL1 |
| 비율 오차가 의미 | MAPE / sMAPE |
| 분포의 꼬리 | quantile loss |
**기본값**: 회귀 평가 metric 은 MAE + RMSE 둘 다 보고, 학습 loss 는 MSE 또는 Huber.
## 🔗 Graph
- 부모: [[Loss-Function]], [[Regression]]
- 변형: [[MSE]], [[Huber-Loss]], [[Quantile-Loss]], [[MAPE]]
- 응용: [[Time-Series-Forecasting]], [[Demand-Forecasting]]
- Adjacent: [[Robust-Statistics]], [[Median]], [[L1-Regularization]]
## 🤖 LLM 활용
**언제**: loss 선택 brainstorm, outlier 대응 전략 설명, 비즈니스 metric 매핑.
**언제 X**: 데이터셋 전체 통계 추정 (직접 EDA 가 정확).
## ❌ 안티패턴
- MAE 만 보고 모델 비교 — 분산/꼬리 정보 손실, RMSE 와 함께.
- target scale 매우 다른 multi-output 에 단일 MAE — feature-wise normalize 필요.
- 0 근처 target 에 MAPE — 분모 폭주.
- 0 에서 미분 불가 무시 — Huber/SmoothL1 권장 (특히 SGD).
## 🧪 검증 / 중복
- Verified. 신뢰도 A.
## 🕓 Changelog
| 날짜 | 변경 |
|---|---|
| 2026-05-08 | Phase 1 |
| 2026-05-10 | Manual cleanup |