Antigravity Agent
35 lines
2.6 KiB
Markdown
35 lines
2.6 KiB
Markdown
---
|
|
id: P-REINFORCE-AUTO-SFT-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 0.99
|
|
tags: [auto-reinforced, llm, fine-tuning, sft, instruction-tuning]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "야생의 지능에 매너를 입히다: 거대 모델이 가진 방대한 지식을 인간의 질문에 '답변하는 형식'으로 길들이기 위해, 고품질의 모범 답안지로 다시 한 번 공부시키는 과정."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
지도 미세 조정(Supervised Fine-Tuning, SFT)은 사전 학습된(Pre-trained) 모델이 특정 작업이나 대화 형식을 따르도록 인간이 작성한 데이터셋으로 추가 학습시키는 단계입니다.
|
|
|
|
1. **SFT의 역할**:
|
|
* **Alignment (정렬)**: 모델이 단순히 문장을 이어 쓰는 것(Autocomplete)에서 벗어나, 질문에 대답하도록 행동 수정.
|
|
* **Style Transfer**: 특정 말투(친절한 상담원, 냉철한 전문가 등)나 서식을 학습.
|
|
* **Focusing**: 특정 분야(코딩, 법률 등)의 데이터 비중을 높여 해당 작업 숙련도 강화.
|
|
2. **데이터의 특징**:
|
|
* **Instruction-Response Pair**: "질문: ~ 해줘", "답변: (모범 답안)" 형태의 고품질 데이터셋.
|
|
* **Quality > Quantity**: 인터넷의 지저분한 수조 개의 토큰보다, 인간 전문가가 쓴 만 개의 깔끔한 모범 답안이 훨씬 강력한 효과를 발휘함.
|
|
3. **단계적 위치**:
|
|
* Pre-training -> **SFT (현재 단계)** -> RLHF (최종 정렬).
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 과거에는 파인튜닝이 데이터 양 싸움이라 믿었으나, 현대 AI 정책은 데이터의 양을 1/1000로 줄이더라도 독보적인 품질의 데이터를 확보하는 '데이터 큐레이션 정책'을 기술 경쟁력의 핵심으로 삼음(RL Update, 예: LIMA 연구).
|
|
- **정책 변화(RL Update)**: 기업 내부의 SFT 데이터셋이 외부로 유출될 경우 경쟁사에 모델의 페르소나를 그대로 노출하게 되므로, SFT용 학습 데이터에 대한 '지적 재산권 보호 및 보안 격리 정책'이 강화됨.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- Foundational Models, [[RLHF (인간 피드백 기반 강화 학습)|RLHF (인간 피드백 기반 강화 학습)]], [[Prompt-Engineering|Prompt-Engineering]], [[Transfer Learning|Transfer Learning]], [[Ps-Reinforce|Ps-Reinforce]]
|
|
- **Modern Tech/Tools**: PEFT (LoRA, QLoRA), Axolotl, Hugging Face TRL.
|
|
---
|