[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -4,75 +4,166 @@ title: Computer Vision
|
||||
category: 10_Wiki/Topics
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: []
|
||||
aliases: [CV, Vision AI, Visual Recognition]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.92
|
||||
tags: [uncategorized]
|
||||
confidence_score: 0.93
|
||||
verification_status: applied
|
||||
tags: [computer-vision, deep-learning, multimodal, perception]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-08
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: Python
|
||||
framework: PyTorch / Transformers / OpenCV
|
||||
---
|
||||
|
||||
---
|
||||
redirect_to: "[[데이터_사이언스_및_ML_엔지니어링]]"
|
||||
canonical_id: "wiki-2026-0507-029"
|
||||
---
|
||||
# Computer Vision
|
||||
|
||||
# Redirect
|
||||
## 매 한 줄
|
||||
> **"매 CV 의 핵심: pixels → semantic understanding via learned hierarchical features"**. 매 1960s Roberts edge detector 로 시작, 매 2012 AlexNet 으로 deep-learning revolution, 매 2020 ViT, 매 2023 SAM. 매 2026 현재 multimodal foundation models (GPT-5V, Claude Opus 4.7, Qwen3-VL, Llama 4 Vision) 가 zero-shot 으로 detection / VQA / OCR 의 통합.
|
||||
|
||||
이 문서는 Canonical 문서인 통합되었습니다.
|
||||
모든 최신 지식과 세부 내용은 위 링크를 참조하십시오.
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
## 매 핵심
|
||||
|
||||
> 컴퓨터 비전은 픽셀 입력을 의미 있는 객체·관계·맥락으로 변환하는 영역으로, CNN→Transformer 기반 모델 발전과 함께 분류·검출·세그멘테이션·생성의 4대 축으로 분화되어 왔다.
|
||||
### 매 task taxonomy
|
||||
- **Classification**: 매 image → label.
|
||||
- **Detection**: 매 bounding boxes + classes (YOLO, DETR, RT-DETR).
|
||||
- **Segmentation**: 매 pixel-level (semantic, instance, panoptic). SAM2 의 promptable.
|
||||
- **Pose / Keypoint**: 매 human/object joints (RTMPose, ViTPose).
|
||||
- **Depth / 3D**: 매 monocular depth (Depth Anything V2), NeRF, 3DGS.
|
||||
- **Generation**: 매 diffusion (FLUX.1, SD3.5), 매 video (Sora 2, Veo 3).
|
||||
- **VLM (Vision-Language)**: 매 image+text → text (GPT-5V, Claude Opus 4.7, Qwen3-VL).
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
### 매 modern stack (2026)
|
||||
- **Backbone**: ConvNeXt-V2, ViT-L, EVA-02, DINOv2.
|
||||
- **Detection**: YOLOv11, RT-DETR-v2, Grounding DINO 1.5.
|
||||
- **Segmentation**: SAM2, Mask2Former.
|
||||
- **Foundation**: SigLIP-2, CLIP, DINOv2 (self-supervised features).
|
||||
- **VLM**: Claude Opus 4.7 Vision, GPT-5V, InternVL3, Qwen3-VL.
|
||||
|
||||
**추출된 패턴:** 합성곱(CNN)이 공간적 지역성을, ViT가 글로벌 어텐션을 잡으면서 도메인별로 둘을 섞은 하이브리드(Swin, ConvNeXt)가 표준이 됨.
|
||||
### 매 응용
|
||||
1. Autonomous driving (Waymo, Tesla FSD perception).
|
||||
2. Medical imaging (MONAI, nnU-Net for segmentation).
|
||||
3. Document AI / OCR (Donut, Florence-2, GPT-5V).
|
||||
4. Robotics (open-vocabulary manipulation, RT-2).
|
||||
5. Content moderation, retail, agriculture.
|
||||
|
||||
**세부 내용:**
|
||||
- **분류(Classification)**: 이미지 → 단일 라벨. ImageNet 벤치마크가 생태계를 견인.
|
||||
- **검출(Detection)**: 객체 박스 + 라벨. 2-stage(R-CNN 계열) vs 1-stage(YOLO/SSD/DETR)의 트레이드오프.
|
||||
- **세그멘테이션(Segmentation)**: 픽셀 단위 라벨. Semantic / Instance / Panoptic 3단계.
|
||||
- **생성(Generation)**: GAN→Diffusion으로 패러다임 이동. SD/DALL·E/Imagen 등.
|
||||
- **자기지도(Self-supervised)**: SimCLR, MAE, DINO 같은 라벨 없이 표현 학습.
|
||||
## 💻 패턴
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
### Image classification (timm + finetune)
|
||||
```python
|
||||
import timm, torch
|
||||
model = timm.create_model("convnextv2_tiny.fcmae_ft_in22k_in1k",
|
||||
pretrained=True, num_classes=10)
|
||||
opt = torch.optim.AdamW(model.parameters(), lr=1e-4)
|
||||
# train as usual
|
||||
```
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
### Object detection (Ultralytics YOLOv11)
|
||||
```python
|
||||
from ultralytics import YOLO
|
||||
model = YOLO("yolo11n.pt")
|
||||
results = model("img.jpg")
|
||||
for r in results:
|
||||
print(r.boxes.xyxy, r.boxes.cls, r.boxes.conf)
|
||||
```
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
### Promptable segmentation (SAM2)
|
||||
```python
|
||||
from sam2.sam2_image_predictor import SAM2ImagePredictor
|
||||
predictor = SAM2ImagePredictor.from_pretrained("facebook/sam2-hiera-large")
|
||||
predictor.set_image(image)
|
||||
masks, scores, _ = predictor.predict(
|
||||
point_coords=[[500, 375]], point_labels=[1])
|
||||
```
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
### CLIP zero-shot classification
|
||||
```python
|
||||
import torch, open_clip
|
||||
model, _, preprocess = open_clip.create_model_and_transforms(
|
||||
"ViT-L-14-SigLIP2", pretrained="webli")
|
||||
tokenizer = open_clip.get_tokenizer("ViT-L-14-SigLIP2")
|
||||
text = tokenizer(["a cat", "a dog", "a car"])
|
||||
with torch.no_grad():
|
||||
img_feat = model.encode_image(preprocess(img).unsqueeze(0))
|
||||
txt_feat = model.encode_text(text)
|
||||
probs = (img_feat @ txt_feat.T).softmax(-1)
|
||||
```
|
||||
|
||||
- **정보 상태:** draft
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
### VLM via Claude (vision)
|
||||
```python
|
||||
import anthropic, base64
|
||||
client = anthropic.Anthropic()
|
||||
img_b64 = base64.b64encode(open("img.jpg", "rb").read()).decode()
|
||||
resp = client.messages.create(
|
||||
model="claude-opus-4-7-20260101",
|
||||
max_tokens=1024,
|
||||
messages=[{
|
||||
"role": "user",
|
||||
"content": [
|
||||
{"type": "image", "source": {"type": "base64",
|
||||
"media_type": "image/jpeg", "data": img_b64}},
|
||||
{"type": "text", "text": "What objects? Bounding boxes (x1,y1,x2,y2)."}
|
||||
]
|
||||
}])
|
||||
```
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
### Monocular depth (Depth Anything V2)
|
||||
```python
|
||||
from transformers import pipeline
|
||||
pipe = pipeline("depth-estimation",
|
||||
model="depth-anything/Depth-Anything-V2-Large-hf")
|
||||
depth = pipe(image)["depth"]
|
||||
```
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
### OpenCV preprocessing pipeline
|
||||
```python
|
||||
import cv2, numpy as np
|
||||
img = cv2.imread("scan.jpg")
|
||||
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
|
||||
blur = cv2.GaussianBlur(gray, (5, 5), 0)
|
||||
edges = cv2.Canny(blur, 50, 150)
|
||||
contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL,
|
||||
cv2.CHAIN_APPROX_SIMPLE)
|
||||
```
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
## 매 결정 기준
|
||||
| 상황 | Approach |
|
||||
|---|---|
|
||||
| Quick prototype, no labels | VLM (GPT-5V/Claude) zero-shot |
|
||||
| Production classification | timm finetune (ConvNeXt-V2) |
|
||||
| Real-time detection | YOLOv11 / RT-DETR |
|
||||
| Open-vocab detection | Grounding DINO 1.5 |
|
||||
| Pixel-perfect masks | SAM2 (promptable) |
|
||||
| Video understanding | InternVideo2 / Sora-style |
|
||||
| Edge / mobile | MobileNetV4 + ONNX/CoreML |
|
||||
|
||||
- **과거 데이터와의 충돌:** 없음
|
||||
- **정책 변화:** 없음
|
||||
**기본값**: 매 prototype 은 VLM 로 baseline, 매 production scale 시 specialized model 의 finetune.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
## 🔗 Graph
|
||||
- 부모: [[Deep Learning]] · [[Multimodal AI]]
|
||||
- 변형: [[CNN]] · [[Vision Transformer]] · [[Diffusion Models]]
|
||||
- 응용: [[Object Detection]] · [[Image Segmentation]] · [[OCR]]
|
||||
- Adjacent: [[NLP]] · [[Robotics]] · [[Generative AI]]
|
||||
|
||||
- **Parent:** [[10_Wiki/Topics]]
|
||||
- **Related:** *(TODO: 최소 2개)*
|
||||
- **Opposite / Trade-off:** *(TODO)*
|
||||
- **Raw Source:** 직접 입력
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 quick image-understanding tasks (VQA, OCR, caption), 매 dataset bootstrapping (label generation), 매 vision-pipeline scaffolding.
|
||||
**언제 X**: 매 high-throughput / low-latency production — 매 specialized model 의 use. 매 medical / safety-critical 은 validated model only.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
## ❌ 안티패턴
|
||||
- **Re-inventing vs. timm/ultralytics**: 매 well-tested baselines 의 무시 X.
|
||||
- **No domain-specific augmentation**: 매 medical/satellite 의 ImageNet aug 의 그대로 사용.
|
||||
- **Ignoring image preprocessing**: 매 wrong normalization 의 가장 흔한 bug.
|
||||
- **VLM 의 fine-grained 작업 의 무비판 신뢰**: 매 small-object detection / counting 의 hallucination.
|
||||
- **No test-time augmentation for production**: 매 robustness 손실.
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (Szeliski Computer Vision 2nd ed., Ultralytics YOLOv11 2025, SAM2 paper 2024, Depth Anything V2 2024).
|
||||
- 신뢰도 A.
|
||||
- 관련: [[CNN]], [[Vision Transformer]].
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — 2026 modern stack (YOLOv11, SAM2, VLMs) |
|
||||
|
||||
Reference in New Issue
Block a user