docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links
This commit is contained in:
@@ -1,12 +1,12 @@
|
||||
---
|
||||
id: [[P-Reinforce]]-AUTO-SFT-001
|
||||
id: [[P-Reinforce|P-Reinforce]]-AUTO-SFT-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 0.99
|
||||
tags: [auto-reinforced, llm, [[Fine-tuning]], sft, [[Instruction-Tuning]]]
|
||||
tags: [auto-reinforced, llm, [[Fine-tuning|Fine-tuning]], sft, [[Instruction-Tuning|Instruction-Tuning]]]
|
||||
last_reinforced: 2026-04-20
|
||||
---
|
||||
|
||||
# [[SFT (Supervised Fine-Tuning)]]
|
||||
# [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "야생의 지능에 매너를 입히다: 거대 모델이 가진 방대한 지식을 인간의 질문에 '답변하는 형식'으로 길들이기 위해, 고품질의 모범 답안지로 다시 한 번 공부시키는 과정."
|
||||
@@ -15,7 +15,7 @@ last_reinforced: 2026-04-20
|
||||
지도 미세 조정(Supervised Fine-Tuning, SFT)은 사전 학습된(Pre-trained) 모델이 특정 작업이나 대화 형식을 따르도록 인간이 작성한 데이터셋으로 추가 학습시키는 단계입니다.
|
||||
|
||||
1. **SFT의 역할**:
|
||||
* **[[Alignment]] (정렬)**: 모델이 단순히 문장을 이어 쓰는 것(Autocomplete)에서 벗어나, 질문에 대답하도록 행동 수정.
|
||||
* **[[Alignment|Alignment]] (정렬)**: 모델이 단순히 문장을 이어 쓰는 것(Autocomplete)에서 벗어나, 질문에 대답하도록 행동 수정.
|
||||
* **Style Transfer**: 특정 말투(친절한 상담원, 냉철한 전문가 등)나 서식을 학습.
|
||||
* **Focusing**: 특정 분야(코딩, 법률 등)의 데이터 비중을 높여 해당 작업 숙련도 강화.
|
||||
2. **데이터의 특징**:
|
||||
@@ -29,6 +29,6 @@ last_reinforced: 2026-04-20
|
||||
- **정책 변화(RL Update)**: 기업 내부의 SFT 데이터셋이 외부로 유출될 경우 경쟁사에 모델의 페르소나를 그대로 노출하게 되므로, SFT용 학습 데이터에 대한 '지적 재산권 보호 및 보안 격리 정책'이 강화됨.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Foundational Models, [[RLHF (인간 피드백 기반 강화 학습)]], [[Prompt-Engineering]], [[Transfer Learning]], [[Ps-Reinforce]]
|
||||
- Foundational Models, [[RLHF (인간 피드백 기반 강화 학습)|RLHF (인간 피드백 기반 강화 학습)]], [[Prompt-Engineering|Prompt-Engineering]], [[Transfer Learning|Transfer Learning]], [[Ps-Reinforce|Ps-Reinforce]]
|
||||
- **Modern Tech/Tools**: PEFT (LoRA, QLoRA), Axolotl, Hugging Face TRL.
|
||||
---
|
||||
|
||||
Reference in New Issue
Block a user