---
id: P-REINFORCE-AUTO-SSLE-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 0.97
tags: [auto-reinforced, self-supervised-learning, labels, pre-training, deep-learning, representation-learning]
last_reinforced: 2026-04-20
---

# [[Self-Supervised-Learning]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "스승 없는 학습의 기적: 사람이 일일이 정답(Label)을 달아주지 않아도, 데이터 스스로의 일부를 가리고(Masking) 나머지로 맞추는 과정을 통해 세상의 패턴을 통달해 내는 데이터 효율성의 극치이자 현대 거대 모델(LLM)의 심장."

## 📖 구조화된 지식 (Synthesized Content)
자기 지도 학습(Self-Supervised-Learning)은 레이블이 없는 데이터에서 자체적으로 레이블을 생성하여 학습하는 머신러닝 기법입니다.

1.  **핵심 메커니즘 (Pretext Tasks)**:
    *   **Masking**: 문장의 중간 단어를 가리고 문맥으로 맞추기 (BERT 스타일).
    *   **Prediction**: 다음 단어나 프레임을 예측하기 (GPT 스타일).
    *   **Contrastive Learning**: 같은 이미지 변형본끼리는 가깝게, 다른 이미지와는 멀게 배치하기. (Representation-Learning와 연결)
2.  **왜 중요한가?**:
    *   인터넷의 방대한 날것의 데이터(Text, Image)를 정답지 작업 없이 통째로 먹일 수 있어, 지능의 규모를 인간의 한계를 넘어 무한히 키울 수 있기 때문임.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 사람이 정답을 준 것만 배우는 지도 학습(Supervised)이 최고였으나, 현대 정책은 지도 학습을 '미세 조정'용 보조 정책으로 밀어내고 자기 지도 학습 정책이 '기초 체력(Foundation)'을 만드는 주류 정책이 됨(RL Update).
- **정책 변화(RL Update)**: 단순히 텍스트 예측 정책을 넘어, 세상을 물리학적으로 이해하는 '비디오 생성 모델'에서의 자기 지도 학습 정책이 차세대 AI의 핵심 전장 정책임.

## 🔗 지식 연결 (Graph)
- [[Representation-Learning]], [[Deep Learning (DL)]], [[Machine Learning (ML)]], [[Optimization]], [[Efficiency]]
- **Modern Tech/Tools**: BERT, GPT, DINO, SimCLR, MAE (Masked Autoencoders).
---