30 lines
2.1 KiB
Markdown
30 lines
2.1 KiB
Markdown
---
|
|
id: CONTRAST-LEARN-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, deep-learning, self-supervised-learning, contrastive-learning, representation-learning]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Contrastive Learning (대조 학습)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "비슷한 것은 가깝게, 다른 것은 멀게 배치하여 데이터의 본질을 파악하라" — 명시적인 라벨 없이도 데이터 쌍 간의 유사성과 차이성을 비교함으로써 의미 있는 특징(Representation)을 스스로 학습하는 자기 지도 학습 기법.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 동일한 데이터의 변형(Augmentation)된 모습들은 서로 당기고(Positive), 서로 다른 데이터들은 밀어내는(Negative) 방식으로 잠재 공간(Latent Space)을 정렬하는 최적화 패턴.
|
|
- **핵심 요소:**
|
|
- **Data Augmentation:** 하나의 이미지를 회전, 자르기, 색상 변조 등을 통해 여러 버전으로 만듦.
|
|
- **Encoder:** 데이터를 고차원 벡터로 변환.
|
|
- **Projection Head:** 학습 효율을 높이기 위해 벡터를 다시 압축.
|
|
- **Contrastive Loss (예: InfoNCE):** 긍정 쌍의 거리는 좁히고 부정 쌍의 거리는 넓히는 손실 함수.
|
|
- **의의:** 대규모 라벨링 비용 없이도 고성능 특징 추출기를 만들 수 있어, CLIP이나 SimCLR 등 최신 모델들의 핵심 기술로 사용됨.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 정답지가 반드시 필요했던 지도 학습의 한계를 넘어, 원시 데이터 자체의 구조만으로도 지능을 구축할 수 있는 길을 염.
|
|
- **정책 변화:** Antigravity 프로젝트는 위키 문서 간의 의미적 거리를 계산하거나 중복 문서를 탐지할 때 대조 학습 기반의 텍스트 임베딩 모델을 적극 활용함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Representation-Learning]], [[Self-Supervised-Learning]], [[CLIP]], Unsupervised-Learning-Foundations
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Contrastive-Learning.md
|