2nd/10_Wiki/Topics/Contrastive-Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
CONTRAST-LEARN-001	10_Wiki/💡 Topics/AI	1.0	ai Deep-Learning Self-Supervised-Learning contrastive-learning Representation-Learning	2026-04-26

Contrastive Learning (대조 학습)

📌 한 줄 통찰 (The Karpathy Summary)

"비슷한 것은 가깝게, 다른 것은 멀게 배치하여 데이터의 본질을 파악하라" — 명시적인 라벨 없이도 데이터 쌍 간의 유사성과 차이성을 비교함으로써 의미 있는 특징(Representation)을 스스로 학습하는 자기 지도 학습 기법.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 동일한 데이터의 변형(Augmentation)된 모습들은 서로 당기고(Positive), 서로 다른 데이터들은 밀어내는(Negative) 방식으로 잠재 공간(Latent Space)을 정렬하는 최적화 패턴.
• 핵심 요소:
  • Data Augmentation: 하나의 이미지를 회전, 자르기, 색상 변조 등을 통해 여러 버전으로 만듦.
  • Encoder: 데이터를 고차원 벡터로 변환.
  • Projection Head: 학습 효율을 높이기 위해 벡터를 다시 압축.
  • Contrastive Loss (예: InfoNCE): 긍정 쌍의 거리는 좁히고 부정 쌍의 거리는 넓히는 손실 함수.
• 의의: 대규모 라벨링 비용 없이도 고성능 특징 추출기를 만들 수 있어, CLIP이나 SimCLR 등 최신 모델들의 핵심 기술로 사용됨.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 정답지가 반드시 필요했던 지도 학습의 한계를 넘어, 원시 데이터 자체의 구조만으로도 지능을 구축할 수 있는 길을 염.
• 정책 변화: Antigravity 프로젝트는 위키 문서 간의 의미적 거리를 계산하거나 중복 문서를 탐지할 때 대조 학습 기반의 텍스트 임베딩 모델을 적극 활용함.

🔗 지식 연결 (Graph)

• Representation-Learning, Self-Supervised-Learning, CLIP, UnSupervised-Learning-Foundations
• Raw Source: 10_Wiki/Topics/AI/Contrastive-Learning.md