docs(10_Wiki): Topic_Business/General/Graphic/Programming을 Topics/ 하위로 이동
최상위 10_Wiki/Topic_*였던 4개 카테고리 폴더를 10_Wiki/Topics/Topic_* 로 재배치. 콘텐츠 변경 없음(순수 폴더 이동) — Topics/ 하위 나머지 폴더는 이미 지난 커밋에서 전부 정리된 상태(잔존 항목은 에이전트 운영 상태 및 사용자가 보존을 요청한 업데이트0615/무제 3.canvas 뿐).
This commit is contained in:
Antigravity Agent
@@ -0,0 +1,140 @@
|
||||
---
|
||||
id: wiki-2026-0508-sota
|
||||
title: SOTA
|
||||
category: 10_Wiki/Topics
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [State of the Art, SOTA Benchmark, Leaderboard]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.9
|
||||
verification_status: applied
|
||||
tags: [ml, benchmark, evaluation, research, leaderboard]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
tech_stack:
|
||||
language: agnostic
|
||||
framework: ml-research
|
||||
---
|
||||
|
||||
# SOTA
|
||||
|
||||
## 매 한 줄
|
||||
> **"매 SOTA = 매 task 의 best 알려진 result"**. State-of-the-Art 의 약자 — 매 ML/research 에서 매 specific benchmark 에 대한 매 highest-scoring approach 의 referrent. 매 2026 년 LLM/diffusion 시대 에서는 매 SOTA 가 매 weeks 단위 로 invalidated 되는 매 fast-moving target.
|
||||
|
||||
## 매 핵심
|
||||
|
||||
### 매 정의 / scope
|
||||
- **매 task-bound**: 매 SOTA 는 매 always 매 specific benchmark + 매 metric 에 tied. "매 GPT-5 가 SOTA" → 매 vague. "매 GPT-5 가 매 GSM8K 의 SOTA (98.4%)" → 매 valid.
|
||||
- **매 dataset split**: 매 same model 도 매 train/eval split 에 따라 매 ranking 변경 가능.
|
||||
- **매 reproducibility crisis**: 매 SOTA claim 의 매 cherry-picking, 매 hyperparameter tuning, 매 test-set leakage issue 빈번.
|
||||
|
||||
### 매 modern (2026) landscape
|
||||
- **LLM benchmarks**: MMLU-Pro, GPQA Diamond, SWE-Bench Verified, ARC-AGI-2, HLE (Humanity's Last Exam).
|
||||
- **Coding**: SWE-Bench Verified, LiveCodeBench, Aider polyglot.
|
||||
- **Vision**: ImageNet-2 (재구성 version), COCO 2025, GenAI-Bench (text-to-image).
|
||||
- **매 2026 SOTA 양상**: Claude Opus 4.7, GPT-5, Gemini 3.5 Ultra 의 매 leapfrog. 매 monthly invalidation.
|
||||
|
||||
### 매 응용
|
||||
1. **연구 paper**: 매 SOTA result 가 publication 의 매 main currency.
|
||||
2. **Industry adoption**: 매 SOTA model 의 매 production fine-tune 의 base.
|
||||
3. **Investment signal**: 매 lab 의 매 SOTA 달성 = 매 funding signal.
|
||||
|
||||
## 💻 패턴
|
||||
|
||||
### Pattern 1: SOTA evaluation harness
|
||||
```python
|
||||
# 매 evaluation 의 reproducibility 확보.
|
||||
import lm_eval
|
||||
|
||||
results = lm_eval.simple_evaluate(
|
||||
model="hf",
|
||||
model_args="pretrained=meta-llama/Llama-3.3-70B-Instruct",
|
||||
tasks=["mmlu_pro", "gpqa_diamond", "math_hard"],
|
||||
batch_size=8,
|
||||
num_fewshot=0,
|
||||
)
|
||||
print(results["results"])
|
||||
```
|
||||
|
||||
### Pattern 2: SOTA leaderboard scrape
|
||||
```python
|
||||
# Papers With Code API.
|
||||
import requests
|
||||
|
||||
r = requests.get(
|
||||
"https://paperswithcode.com/api/v1/sota/sota-on-mmlu/",
|
||||
headers={"Accept": "application/json"},
|
||||
)
|
||||
top = r.json()["results"][0]
|
||||
print(f"SOTA: {top['paper']['title']} — {top['metrics']}")
|
||||
```
|
||||
|
||||
### Pattern 3: Statistical-significance check
|
||||
```python
|
||||
# 매 SOTA claim 의 매 noise vs 매 real improvement 구분.
|
||||
from scipy.stats import bootstrap
|
||||
import numpy as np
|
||||
|
||||
baseline = np.array(per_sample_scores_baseline)
|
||||
candidate = np.array(per_sample_scores_candidate)
|
||||
|
||||
diff = candidate - baseline
|
||||
ci = bootstrap((diff,), np.mean, n_resamples=10_000, confidence_level=0.95)
|
||||
print(f"Δ mean = {diff.mean():.4f}, 95% CI = {ci.confidence_interval}")
|
||||
# 매 CI 가 0 포함 → 매 not significant.
|
||||
```
|
||||
|
||||
### Pattern 4: Test-set contamination probe
|
||||
```python
|
||||
# 매 model 의 매 train 시 test set 의 leak 확인.
|
||||
from datasets import load_dataset
|
||||
|
||||
test_set = load_dataset("hendrycks/test", split="test")
|
||||
sample = test_set[0]["question"]
|
||||
|
||||
# 매 perplexity test — 매 model 가 매 test sample 의 매 unusually low ppl ?
|
||||
import torch
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
tok = AutoTokenizer.from_pretrained("model-name")
|
||||
mod = AutoModelForCausalLM.from_pretrained("model-name").cuda()
|
||||
inputs = tok(sample, return_tensors="pt").to("cuda")
|
||||
with torch.no_grad():
|
||||
loss = mod(**inputs, labels=inputs.input_ids).loss
|
||||
print(f"PPL = {torch.exp(loss).item()}")
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
| 상황 | Approach |
|
||||
|---|---|
|
||||
| 매 새 paper 의 SOTA claim | Significance test + 매 reproduction 확인 |
|
||||
| 매 production model 선택 | 매 SOTA 만 X — latency/cost/license 도 |
|
||||
| 매 research direction | SOTA 의 매 1-2% 차이 chase X — 매 architectural insight 추구 |
|
||||
| 매 benchmark saturated (≥99%) | 매 새 benchmark 로 이동 — Goodhart 회피 |
|
||||
|
||||
**기본값**: 매 SOTA = 매 starting reference, not endpoint. 매 다양 한 axes (latency, cost, robustness) 평가.
|
||||
|
||||
## 🔗 Graph
|
||||
- 응용: [[Leaderboard]]
|
||||
- Adjacent: [[Goodharts Law]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 task 의 매 current SOTA 의 매 quick lookup, 매 benchmark 추천.
|
||||
**언제 X**: 매 LLM 의 매 training cutoff 후 SOTA — 매 stale info, web search 사용.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **SOTA chasing**: 매 0.1% improvement 만 매 chase — 매 diminishing returns.
|
||||
- **Single-metric tunnel vision**: 매 accuracy 만 — 매 fairness/latency/robustness 무시.
|
||||
- **Benchmark hacking**: 매 test-set tuning, 매 prompt engineering for benchmark only.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (Papers With Code; Open LLM Leaderboard; lm-evaluation-harness docs).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — SOTA 정의/landscape/eval harness/contamination probe 정리 |
|
||||
Reference in New Issue
Block a user