2nd/10_Wiki/Topics_Business/Transfer Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-TRLE-001	Business	0.98	auto-reinforced transfer-learning deep-learning knowledge-transfer specialization	2026-04-20

Transfer Learning

📌 한 줄 통찰 (The Karpathy Summary)

"남의 지식으로 내 문제 풀기: 밑바닥부터 새로 배우는 대신, 거대 데이터로 이미 훈련된 모델의 실력을 가져와 내 특수 분야에 맞춰 살짝 다듬어(fine-tuning) 압도적인 효율을 얻는 지식 전수법."

📖 구조화된 지식 (Synthesized Content)

전이 학습(Transfer Learning)은 한 도메인(Source)에서 학습한 지식을 다른 관련 도메인(Target)에 적용하여 학습 성능을 높이고 자원 소모를 줄이는 머신러닝 기법입니다.

1. 왜 필요한가?:
   • Data Scarcity: 특정 분야(의료, 특수 제조 등)는 학습 데이터가 부족함.
   • Computational Cost: 거대 모델을 처음부터 학습시키는 데는 천문학적 비용 발생.
2. 핵심 메커니즘:
   • Pre-training: 대규모 일반 데이터(예: 인터넷 전체 텍스트, ImageNet)로 보편적 특징 학습.
   • Feature Extraction: 학습된 가중치(Weights) 일부를 골격으로 사용.
   • Fine-tuning: 하위 계층을 고정하거나 소폭 수정하며 내 데이터에 최적화.
3. 가장 성공적인 사례:
   • BERT/GPT (언어 이해 지식의 전이), ResNet (이미지 특징 추출 능력의 전이).

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 전이 학습 시 지식의 왜곡이나 망각(Catastrophic Forgetting)이 큰 문제였으나, 현대 인프라 정책은 '어댑터(Adapter)'나 'LoRA'와 같은 모듈형 전이 정책을 통해 기존 지식은 보존하면서 효율적으로 확장하는 기술적 대안을 정착시킴(RL Update).
• 정책 변화(RL Update): 기업 내부의 핵심 기술이 외부 모델에 '오염'되는 것을 막기 위해, 오픈 소스 기반 모델을 가져와 폐쇄망 내에서 전이 학습시키는 '프라이빗 AI 구축 정책'이 데이터 주권 보호의 핵심 전략으로 부상함.

🔗 지식 연결 (Graph)

• Foundational Models, SFT (Supervised Fine-Tuning), Resource-Management, Neural-Symbolic-Integration, Robotics
• Modern Tech/Tools: Hugging Face Transformers, LoRA (Low-Rank Adaptation), PyTorch/TensorFlow pre-trained models.

---