[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -1,15 +1,15 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-TRLE-001
|
||||
id: [[P-Reinforce]]-AUTO-TRLE-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 0.98
|
||||
tags: [auto-reinforced, transfer-learning, deep-learning, knowledge-transfer, specialization]
|
||||
tags: [auto-reinforced, transfer-learning, [[Deep-Learning]], knowledge-transfer, specialization]
|
||||
last_reinforced: 2026-04-20
|
||||
---
|
||||
|
||||
# [[Transfer Learning]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "남의 지식으로 내 문제 풀기: 밑바닥부터 새로 배우는 대신, 거대 데이터로 이미 훈련된 모델의 실력을 가져와 내 특수 분야에 맞춰 살짝 다듬어(fine-tuning) 압도적인 효율을 얻는 지식 전수법."
|
||||
> "남의 지식으로 내 문제 풀기: 밑바닥부터 새로 배우는 대신, 거대 데이터로 이미 훈련된 모델의 실력을 가져와 내 특수 분야에 맞춰 살짝 다듬어([[Fine-tuning]]) 압도적인 효율을 얻는 지식 전수법."
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
전이 학습(Transfer Learning)은 한 도메인(Source)에서 학습한 지식을 다른 관련 도메인(Target)에 적용하여 학습 성능을 높이고 자원 소모를 줄이는 머신러닝 기법입니다.
|
||||
@@ -22,7 +22,7 @@ last_reinforced: 2026-04-20
|
||||
* **Feature Extraction**: 학습된 가중치(Weights) 일부를 골격으로 사용.
|
||||
* **Fine-tuning**: 하위 계층을 고정하거나 소폭 수정하며 내 데이터에 최적화.
|
||||
3. **가장 성공적인 사례**:
|
||||
* BERT/GPT (언어 이해 지식의 전이), ResNet (이미지 특징 추출 능력의 전이).
|
||||
* [[BERT]]/GPT (언어 이해 지식의 전이), ResNet (이미지 특징 추출 능력의 전이).
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 전이 학습 시 지식의 왜곡이나 망각(Catastrophic Forgetting)이 큰 문제였으나, 현대 인프라 정책은 '어댑터(Adapter)'나 'LoRA'와 같은 모듈형 전이 정책을 통해 기존 지식은 보존하면서 효율적으로 확장하는 기술적 대안을 정착시킴(RL Update).
|
||||
@@ -30,5 +30,5 @@ last_reinforced: 2026-04-20
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Foundational Models, [[SFT (Supervised Fine-Tuning)]], [[Resource-Management]], [[Neural-Symbolic-Integration]], [[Robotics]]
|
||||
- **Modern Tech/Tools**: Hugging Face Transformers, LoRA (Low-Rank Adaptation), PyTorch/TensorFlow pre-trained models.
|
||||
- **Modern Tech/Tools**: Hugging Face [[Transformers]], [[LoRA (Low-Rank Adaptation)]], PyTorch/TensorFlow pre-trained models.
|
||||
---
|
||||
|
||||
Reference in New Issue
Block a user