29 lines
2.0 KiB
Markdown
29 lines
2.0 KiB
Markdown
---
|
|
id: CURRICULUM-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, machine-learning, curriculum-learning, optimization, training-strategy]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Curriculum Learning (커리큘럼 학습)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "쉬운 것부터 배우고 점차 난이도를 높여 지능을 견고하게 쌓아라" — 인간의 학습 과정처럼 모델에게 쉬운 샘플부터 점진적으로 복잡한 샘플을 제시하여, 학습 속도를 높이고 더 나은 지역 최적해(Local Minima)에 도달하게 하는 학습 전략.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 학습 데이터의 난이도(Difficulty)를 사전에 정의하거나 동적으로 측정하여, 모델의 현재 역량에 맞는 데이터를 선별적으로 투입하는 단계적 최적화 패턴.
|
|
- **작동 원리:**
|
|
- **Difficulty Scoring:** 데이터의 노이즈, 길이, 복잡도 등을 기준으로 점수 부여.
|
|
- **Pacing Function:** 학습 진행에 따라 어려운 데이터의 비중을 높여가는 함수 설계.
|
|
- **Self-paced Learning:** 모델이 스스로 어떤 샘플이 쉬운지 판단하여 학습 순서 결정.
|
|
- **장점:** 무작위 샘플링보다 수렴 속도가 빠르며, 복잡한 문제에서도 학습이 실패할 확률을 낮춤.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순히 데이터를 많이 넣으면 된다는 양적 접근에서, 데이터의 '투입 순서'가 모델의 질적 성장을 결정한다는 교육학적 접근으로 진화.
|
|
- **정책 변화:** Antigravity 프로젝트의 자율 학습 에이전트는 지식 보강 작업 시 기초적인 용어 정의부터 시작하여 점차 복잡한 아키텍처 문서를 작성하는 커리큘럼 학습 방식을 따름.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- Machine-Learning, [[Optimization]], [[Deep-Learning]], Transfer-Learning-Foundations
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Curriculum-Learning.md
|