2nd/10_Wiki/Topics_Blog/Self-Supervised Learning (SSL).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-SSL-001	10_Wiki/💡 Topics/AI	0.99	auto-reinforced machine-learning self-supervised pre-training representation-learning	2026-04-20

Self-Supervised Learning (SSL)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터 스스로가 스승이 되는 학습: 인간의 라벨링 없이도 데이터의 숨겨진 구조를 이용해 '스스로 문제(Pretext Task)를 내고 맞히며' 지능의 기초 체력을 기르는 방식."

📖 구조화된 지식 (Synthesized Content)

자가 지도 학습(Self-Supervised Learning)은 라벨이 없는 대규모 데이터로부터 유용한 표현(Representation)을 학습하기 위해 데이터 자체에서 정답을 생성하여 학습하는 기법입니다.

1. 동작 원리 (Pretext Tasks):
   • In-painting: 데이터의 일부를 가리고 원래 무엇이었는지 맞히기.
   • Clustering: 데이터 간의 유사성을 스스로 그룹화.
   • Contrastive Learning: 같은 이미지의 변형본은 가깝게, 다른 이미지는 멀게 배치하도록 학습.
2. 핵심 이점:
   • Data Scailng: 비싼 인간 라벨러 없이 인터넷상의 천문학적 데이터를 그대로 학습에 활용 가능.
   • Foundational Base: 특정 작업에 국한되지 않은 범용적인 지식 베이스를 구축할 수 있음.
3. 대표 사례:
   • BERT/GPT: 다음 단어나 중간 단어를 맞히는 과정을 통해 언어 구조 파악.
   • DINO/MAE: 이미지의 가려진 부분을 복구하며 시각적 이해도 향상.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 이전에는 지도 학습(Supervised Learning)이 성능의 정점이라 보았으나, 현대 AI 정책은 SSL로 거대한 파운데이션 모델을 먼저 만들고 아주 적은 데이터로 미세 조정하는 'Pre-train & Fine-tune' 전략을 표준으로 삼음(RL Update).
• 정책 변화(RL Update): 데이터 라벨링에 드는 막대한 비용과 윤리적 문제를 해결하기 위해, 공공 및 기업 부문의 데이터 자산화 정책은 이제 SSL을 통한 '공통 모델 인프라' 구축에 집중하고 있음.

🔗 지식 연결 (Graph)

• Foundational Models, SFT (Supervised Fine-Tuning), Representation-Theory, Philosophy of Science, Algorithm-Ethics
• Modern Tech/Tools: PyTorch, TensorFlow, SimCLR, BERT, Contrastive Learning.

---