2nd/10_Wiki/Topics/AI/Self-Supervised-Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-SSLE-001	10_Wiki/💡 Topics/AI	0.97	auto-reinforced self-supervised-learning labels pre-training deep-learning representation-learning	2026-04-20

Self-Supervised-Learning

📌 한 줄 통찰 (The Karpathy Summary)

"스승 없는 학습의 기적: 사람이 일일이 정답(Label)을 달아주지 않아도, 데이터 스스로의 일부를 가리고(Masking) 나머지로 맞추는 과정을 통해 세상의 패턴을 통달해 내는 데이터 효율성의 극치이자 현대 거대 모델(LLM)의 심장."

📖 구조화된 지식 (Synthesized Content)

자기 지도 학습(Self-Supervised-Learning)은 레이블이 없는 데이터에서 자체적으로 레이블을 생성하여 학습하는 머신러닝 기법입니다.

1. 핵심 메커니즘 (Pretext Tasks):
   • Masking: 문장의 중간 단어를 가리고 문맥으로 맞추기 (BERT 스타일).
   • Prediction: 다음 단어나 프레임을 예측하기 (GPT 스타일).
   • Contrastive Learning: 같은 이미지 변형본끼리는 가깝게, 다른 이미지와는 멀게 배치하기. (Representation-Learning와 연결)
2. 왜 중요한가?:
   • 인터넷의 방대한 날것의 데이터(Text, Image)를 정답지 작업 없이 통째로 먹일 수 있어, 지능의 규모를 인간의 한계를 넘어 무한히 키울 수 있기 때문임.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 사람이 정답을 준 것만 배우는 지도 학습(Supervised)이 최고였으나, 현대 정책은 지도 학습을 '미세 조정'용 보조 정책으로 밀어내고 자기 지도 학습 정책이 '기초 체력(Foundation)'을 만드는 주류 정책이 됨(RL Update).
• 정책 변화(RL Update): 단순히 텍스트 예측 정책을 넘어, 세상을 물리학적으로 이해하는 '비디오 생성 모델'에서의 자기 지도 학습 정책이 차세대 AI의 핵심 전장 정책임.

🔗 지식 연결 (Graph)

• Representation-Learning, Deep Learning (DL), Machine Learning (ML), Optimization, Efficiency
• Modern Tech/Tools: BERT, GPT, DINO, SimCLR, MAE (Masked Autoencoders).

---