2nd/10_Wiki/Topics/AI/SFT (Supervised Fine-Tuning).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-SFT-001	10_Wiki/💡 Topics/AI	0.99	auto-reinforced llm fine-tuning sft instruction-tuning	2026-04-20

SFT (Supervised Fine-Tuning)

📌 한 줄 통찰 (The Karpathy Summary)

"야생의 지능에 매너를 입히다: 거대 모델이 가진 방대한 지식을 인간의 질문에 '답변하는 형식'으로 길들이기 위해, 고품질의 모범 답안지로 다시 한 번 공부시키는 과정."

📖 구조화된 지식 (Synthesized Content)

지도 미세 조정(Supervised Fine-Tuning, SFT)은 사전 학습된(Pre-trained) 모델이 특정 작업이나 대화 형식을 따르도록 인간이 작성한 데이터셋으로 추가 학습시키는 단계입니다.

1. SFT의 역할:
   • Alignment (정렬): 모델이 단순히 문장을 이어 쓰는 것(Autocomplete)에서 벗어나, 질문에 대답하도록 행동 수정.
   • Style Transfer: 특정 말투(친절한 상담원, 냉철한 전문가 등)나 서식을 학습.
   • Focusing: 특정 분야(코딩, 법률 등)의 데이터 비중을 높여 해당 작업 숙련도 강화.
2. 데이터의 특징:
   • Instruction-Response Pair: "질문: ~ 해줘", "답변: (모범 답안)" 형태의 고품질 데이터셋.
   • Quality > Quantity: 인터넷의 지저분한 수조 개의 토큰보다, 인간 전문가가 쓴 만 개의 깔끔한 모범 답안이 훨씬 강력한 효과를 발휘함.
3. 단계적 위치:
   • Pre-training -> SFT (현재 단계) -> RLHF (최종 정렬).

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 파인튜닝이 데이터 양 싸움이라 믿었으나, 현대 AI 정책은 데이터의 양을 1/1000로 줄이더라도 독보적인 품질의 데이터를 확보하는 '데이터 큐레이션 정책'을 기술 경쟁력의 핵심으로 삼음(RL Update, 예: LIMA 연구).
• 정책 변화(RL Update): 기업 내부의 SFT 데이터셋이 외부로 유출될 경우 경쟁사에 모델의 페르소나를 그대로 노출하게 되므로, SFT용 학습 데이터에 대한 '지적 재산권 보호 및 보안 격리 정책'이 강화됨.

🔗 지식 연결 (Graph)

• Foundational Models, RLHF (인간 피드백 기반 강화 학습), Prompt-Engineering, Transfer Learning, Ps-Reinforce
• Modern Tech/Tools: PEFT (LoRA, QLoRA), Axolotl, Hugging Face TRL.

---