Antigravity Agent
57 lines
4.2 KiB
Markdown
57 lines
4.2 KiB
Markdown
---
|
|
category: Unified
|
|
tags: [auto-consolidated, technical-documentation]
|
|
title: [[Transfer Learning|Transfer Learning]]
|
|
last_updated: 2026-05-02
|
|
---
|
|
|
|
# [[Transfer Learning|Transfer Learning]]
|
|
|
|
## 📌 Brief Summary
|
|
> "남의 지식으로 내 문제 풀기: 밑바닥부터 새로 배우는 대신, 거대 데이터로 이미 훈련된 모델의 실력을 가져와 내 특수 분야에 맞춰 살짝 다듬어([[Fine-tuning|Fine-tuning]]) 압도적인 효율을 얻는 지식 전수법."
|
|
|
|
---
|
|
|
|
> "한 분야에서 얻은 지식을 다른 분야의 밑거름으로 써라" — 방대한 데이터로 미리 학습된 모델(Pre-trained model)의 지식을 가져와, 소량의 데이터만으로 새로운 태스크에서 고성능을 내는 학습 기법.
|
|
|
|
## 📖 Core Content
|
|
전이 학습(Transfer Learning)은 한 도메인(Source)에서 학습한 지식을 다른 관련 도메인(Target)에 적용하여 학습 성능을 높이고 자원 소모를 줄이는 머신러닝 기법입니다.
|
|
|
|
1. **왜 필요한가?**:
|
|
* **Data Scarcity**: 특정 분야(의료, 특수 제조 등)는 학습 데이터가 부족함.
|
|
* **Computational Cost**: 거대 모델을 처음부터 학습시키는 데는 천문학적 비용 발생.
|
|
2. **핵심 메커니즘**:
|
|
* **Pre-training**: 대규모 일반 데이터(예: 인터넷 전체 텍스트, ImageNet)로 보편적 특징 학습.
|
|
* **Feature Extraction**: 학습된 가중치(Weights) 일부를 골격으로 사용.
|
|
* **Fine-tuning**: 하위 계층을 고정하거나 소폭 수정하며 내 데이터에 최적화.
|
|
3. **가장 성공적인 사례**:
|
|
* [[BERT|BERT]]/GPT (언어 이해 지식의 전이), ResNet (이미지 특징 추출 능력의 전이).
|
|
|
|
---
|
|
|
|
- **추출된 패턴:** 밑바닥부터 학습하는 대신, 이미 검증된 특징 추출(Feature Extraction) 능력을 재사용하여 학습 시간과 비용을 획기적으로 줄이는 지식 전이 패턴.
|
|
- **세부 내용:**
|
|
- **Feature Extraction:** 기존 모델의 하위 레이어(일반적 특징)는 고정하고 상위 레이어만 새 태스크에 맞게 교체.
|
|
- **[[Fine-tuning|Fine-tuning]]:** 기존 가중치를 초기값으로 사용하여 새로운 데이터로 전체 또는 일부를 미세 조정.
|
|
- **Domain Adaptation:** 학습 데이터와 실제 적용 환경의 분포 차이를 줄이는 과정.
|
|
- **Multimodal Transfer:** 텍스트 지식을 이미지 인식에 활용하는 등 서로 다른 도메인 간의 지식 공유.
|
|
|
|
## ⚖️ Trade-offs & Caveats
|
|
- **과거 데이터와의 충돌**: 과거에는 전이 학습 시 지식의 왜곡이나 망각(Catastrophic Forgetting)이 큰 문제였으나, 현대 인프라 정책은 '어댑터(Adapter)'나 'LoRA'와 같은 모듈형 전이 정책을 통해 기존 지식은 보존하면서 효율적으로 확장하는 기술적 대안을 정착시킴(RL Update).
|
|
- **정책 변화(RL Update)**: 기업 내부의 핵심 기술이 외부 모델에 '오염'되는 것을 막기 위해, 오픈 소스 기반 모델을 가져와 폐쇄망 내에서 전이 학습시키는 '프라이빗 AI 구축 정책'이 데이터 주권 보호의 핵심 전략으로 부상함.
|
|
|
|
---
|
|
|
|
- **과거 데이터와의 충돌:** 매번 새로운 모델을 만들어야 했던 방식에서, 거대 기반 모델(Foundation Model) 하나를 다양하게 변조하여 사용하는 방식으로 AI 생태계가 개편됨.
|
|
- **정책 변화:** Antigravity 프로젝트는 모든 특화 에이전트 개발 시, 기초 언어 모델을 기반으로 전이 학습과 PEFT를 결합하여 개발 생산성을 극대화함.
|
|
|
|
## 🔗 Knowledge Connections
|
|
- Foundational Models, [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]], [[Resource-Management|Resource-Management]], [[Neural-Symbolic-Integration|Neural-Symbolic-Integration]], [[Robotics|Robotics]]
|
|
- **Modern Tech/Tools**: Hugging Face [[Transformers|Transformers]], [[LoRA (Low-Rank Adaptation)|LoRA (Low-Rank Adaptation)]], PyTorch/TensorFlow pre-trained models.
|
|
---
|
|
|
|
---
|
|
|
|
- [[Fine-tuning|Fine-Tuning]], [[Representation-Learning|Representation-Learning]], [[Parameter|Parameter]]-Efficient-Fine-Tuning, [[Foundation-Models|Foundation-Models]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Transfer-Learning (전이 학습 기초).md
|