feat: Knowledge Gardening Milestone 470 (Batch #24 - 40% Achieved)

This commit is contained in:
Antigravity Agent
2026-04-26 20:15:33 +09:00
parent a9eab9356b
commit 64a46f2c1d
27 changed files with 675 additions and 57 deletions
+16 -19
View File
@@ -1,31 +1,28 @@
---
id: P-REINFORCE-AUTO-SSLE-001
id: AI-SELF-SUP-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 0.97
tags: [auto-reinforced, self-supervised-learning, labels, pre-training, deep-learning, representation-learning]
last_reinforced: 2026-04-20
confidence_score: 1.0
tags: [ai, deep-learning, self-supervised-learning, contrastive-learning, pretext-task, foundations]
last_reinforced: 2026-04-26
---
# [[Self-Supervised-Learning]]
# [[Self-Supervised Learning (자기지도 학습)]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "스승 없는 학습의 기적: 사람이 일일이 정답(Label)을 달아주지 않아도, 데이터 스스로의 일부를 가리고(Masking) 나머지로 맞추는 과정을 통해 세상의 패턴을 통달해 내는 데이터 효율성의 극치이자 현대 거대 모델(LLM)의 심장."
> "데이터의 바다에서 정답(Label)를 기다리지 말고, 데이터 스스로가 가진 내부 구조를 파고들어 지능의 본질을 깨워라" — 레이블이 없는 방대한 데이터로부터 스스로 정답(Pseudo-label)을 만들어 학습함으로써, 인간 수준의 상식과 일반화 능력을 획득하는 인공지능 학습 방법론.
## 📖 구조화된 지식 (Synthesized Content)
자기 지도 학습(Self-Supervised-Learning)은 레이블이 없는 데이터에서 자체적으로 레이블을 생성하여 학습하는 머신러닝 기법입니다.
1. **핵심 메커니즘 (Pretext Tasks)**:
* **Masking**: 문장의 중간 단어를 가리고 문맥으로 맞추기 (BERT 스타일).
* **Prediction**: 다음 단어나 프레임을 예측하기 (GPT 스타일).
* **Contrastive Learning**: 같은 이미지 변형본끼리는 가깝게, 다른 이미지와는 멀게 배치하기. (Representation-Learning와 연결)
2. **왜 중요한가?**:
* 인터넷의 방대한 날것의 데이터(Text, Image)를 정답지 작업 없이 통째로 먹일 수 있어, 지능의 규모를 인간의 한계를 넘어 무한히 키울 수 있기 때문임.
- **추출된 패턴:** "Pretext Task and Representation Distillation" — 문장의 다음 단어를 맞추거나(BERT/GPT), 이미지의 일부를 가리고 복원하거나, 혹은 같은 이미지의 다른 변형을 가깝게 배치하는(Contrastive Learning) 등의 '가짜 문제'를 통해 데이터의 핵심 특징(Representation)을 추출하는 패턴.
- **주요 기법:**
- **Generative:** 데이터의 누락된 부분을 생성하며 학습 (예: GPT).
- **Contrastive:** 서로 다른 샘플 간의 유사성과 차이점을 비교하며 학습 (예: SimCLR, CLIP).
- **Predictive:** 데이터의 순서나 회전 상태 등을 예측하며 학습.
- **의의:** 값비싼 인간의 레이블링 작업 없이도 무한한 인터넷 데이터를 지능의 땔감으로 사용할 수 있게 하여, 초거대 AI 모델 탄생의 결정적인 기폭제가 됨.
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 사람이 정답을 준 것만 배우는 지도 학습(Supervised)이 최고였으나, 현대 정책은 지도 학습을 '미세 조정'용 보조 정책으로 밀어내고 자기 지도 학습 정책이 '기초 체력(Foundation)'을 만드는 주류 정책이 됨(RL Update).
- **정책 변화(RL Update)**: 단순히 텍스트 예측 정책을 넘어, 세상을 물리학적으로 이해하는 '비디오 생성 모델'에서의 자기 지도 학습 정책이 차세대 AI의 핵심 전장 정책임.
- **과거 데이터와의 충돌:** 지도 학습(Unsupervised)의 하위 범주로 여겨졌으나, 이제는 데이터가 '스스로 지도한다'는 능동적 의미를 담아 독립적인 패러다임으로 정착되었으며, 지도 학습보다 더 강력한 범용 표현을 형성할 수 있음이 입증됨.
- **정책 변화:** Antigravity 프로젝트는 에이전트의 기본 언어 모델 및 임베딩 모델 구축 시, 대규모 비정형 지식 데이터를 가장 효과적으로 자산화할 수 있는 자기지도 학습 기반의 파이프라인을 최우선으로 고려함.
## 🔗 지식 연결 (Graph)
- [[Representation-Learning]], [[Deep Learning (DL)]], [[Machine Learning (ML)]], [[Optimization]], [[Efficiency]]
- **Modern Tech/Tools**: BERT, GPT, DINO, SimCLR, MAE (Masked Autoencoders).
---
- [[Representation-Learning]], [[Deep-Learning-Foundations]], [[Natural-Language-Processing-NLP]], [[LLM-Training-Foundations]]
- **Raw Source:** [[10_Wiki/Topics/AI/Self-Supervised-Learning.md]]