29 lines
2.0 KiB
Markdown
29 lines
2.0 KiB
Markdown
---
|
|
id: TRANSFER-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, deep-learning, transfer-learning, knowledge-sharing, optimization]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Transfer Learning Foundations (전이 학습 기초)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "한 분야에서 얻은 지식을 다른 분야의 밑거름으로 써라" — 방대한 데이터로 미리 학습된 모델(Pre-trained model)의 지식을 가져와, 소량의 데이터만으로 새로운 태스크에서 고성능을 내는 학습 기법.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 밑바닥부터 학습하는 대신, 이미 검증된 특징 추출(Feature Extraction) 능력을 재사용하여 학습 시간과 비용을 획기적으로 줄이는 지식 전이 패턴.
|
|
- **세부 내용:**
|
|
- **Feature Extraction:** 기존 모델의 하위 레이어(일반적 특징)는 고정하고 상위 레이어만 새 태스크에 맞게 교체.
|
|
- **Fine-tuning:** 기존 가중치를 초기값으로 사용하여 새로운 데이터로 전체 또는 일부를 미세 조정.
|
|
- **Domain Adaptation:** 학습 데이터와 실제 적용 환경의 분포 차이를 줄이는 과정.
|
|
- **Multimodal Transfer:** 텍스트 지식을 이미지 인식에 활용하는 등 서로 다른 도메인 간의 지식 공유.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 매번 새로운 모델을 만들어야 했던 방식에서, 거대 기반 모델(Foundation Model) 하나를 다양하게 변조하여 사용하는 방식으로 AI 생태계가 개편됨.
|
|
- **정책 변화:** Antigravity 프로젝트는 모든 특화 에이전트 개발 시, 기초 언어 모델을 기반으로 전이 학습과 PEFT를 결합하여 개발 생산성을 극대화함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Fine-Tuning]], [[Representation-Learning]], Parameter-Efficient-Fine-Tuning, [[Foundation-Models]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Transfer-Learning (전이 학습 기초).md
|