2nd/10_Wiki/Topics/Support-Vector-Machines.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
AI-ML-SVM-001	10_Wiki/💡 Topics/AI	1.0	ai machine-learning svm support-vector-machines kernel-trick classification margin-maximization	2026-04-26

Support Vector Machines (SVM, 서포트 벡터 머신)

📌 한 줄 통찰 (The Karpathy Summary)

"두 집단 사이의 가장 넓은 도로(Margin)를 건설하여 미지의 데이터가 들어와도 흔들림 없이 분류하고, 차원의 마법(Kernel Trick)으로 복잡하게 얽힌 세상을 명쾌하게 갈라치기하라" — 데이터를 분류하기 위한 최적의 결정 경계(Hyperplane)를 찾는 전통적이면서도 강력한 지도 학습 모델.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: "Max-margin Classification and High-dimensional Projection" — 결정 경계와 가장 가까운 데이터 포인트(Support Vectors) 사이의 거리(Margin)를 최대화하여 일반화 성능을 높이고, 선형으로 분리되지 않는 데이터를 고차원으로 보내 해결하는 패턴.
• 핵심 구성 요소:
  • Hyperplane: 데이터를 나누는 다차원 경계면.
  • Support Vectors: 경계면을 결정하는 데 결정적인 역할을 하는 가장자리 데이터들.
  • Kernel Trick: 데이터를 직접 고차원으로 변환하지 않고도 고차원 공간에서의 내적을 계산하여 연산 효율을 극대화하는 수학적 기교 (RBF, Polynomial 등).
• 의의: 딥러닝 이전 시대의 왕자로 군림했으며, 데이터 양이 적거나 특성이 명확한 경우 여전히 매우 견고하고 안정적인 성능을 발휘하는 신뢰할 수 있는 모델.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 대규모 데이터셋에서 연산 속도가 느리다는 단점 때문에 모든 분야에서 딥러닝에 밀리는 듯했으나, 최근에는 딥러닝 모델의 마지막 층(Feature)에 SVM을 결합하여 분류 성능을 극대화하거나 이상치 탐지(One-class SVM) 분야에서 여전히 독보적인 위치를 차지함.
• 정책 변화: Antigravity 프로젝트는 에이전트의 지식 분류 로직 중, 레이블 데이터가 적고 명확한 경계가 필요한 특정 도메인 분석 시 SVM의 견고한 마진 분류 방식을 병행 활용함.

🔗 지식 연결 (Graph)

• Supervised-Learning-Foundations, Representation-Learning, Optimization-Algorithms, Outlier-Detection-Techniques
• Raw Source: 10_Wiki/Topics/AI/Support-Vector-Machines.md