2nd/10_Wiki/Topics/AI_and_ML/SFT (Supervised Fine-Tuning).md

id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, tags, raw_sources, last_reinforced, github_commit, inferred_by

id	title	category	status	canonical_id	aliases	duplicate_of	source_trust_level	confidence_score	tags	raw_sources	last_reinforced	github_commit	inferred_by
wiki-2026-0508-sft-supervised-fine-tuning	SFT (Supervised Fine Tuning)	10_Wiki/Topics	needs_review	self	P-Reinforce-AUTO-SFT-001	none	A	0.99	auto-reinforced llm Fine-tuning sft Instruction-Tuning		2026-04-20	pending	Claude Opus 4.7 (auto-normalize 2026-05-08)

SFT (Supervised Fine-Tuning)

📌 한 줄 통찰 (The Karpathy Summary)

"야생의 지능에 매너를 입히다: 거대 모델이 가진 방대한 지식을 인간의 질문에 '답변하는 형식'으로 길들이기 위해, 고품질의 모범 답안지로 다시 한 번 공부시키는 과정."

📖 구조화된 지식 (Synthesized Content)

지도 미세 조정(Supervised Fine-Tuning, SFT)은 사전 학습된(Pre-trained) 모델이 특정 작업이나 대화 형식을 따르도록 인간이 작성한 데이터셋으로 추가 학습시키는 단계입니다.

1. SFT의 역할:
   • Alignment (정렬): 모델이 단순히 문장을 이어 쓰는 것(Autocomplete)에서 벗어나, 질문에 대답하도록 행동 수정.
   • Style Transfer: 특정 말투(친절한 상담원, 냉철한 전문가 등)나 서식을 학습.
   • Focusing: 특정 분야(코딩, 법률 등)의 데이터 비중을 높여 해당 작업 숙련도 강화.
2. 데이터의 특징:
   • Instruction-Response Pair: "질문: ~ 해줘", "답변: (모범 답안)" 형태의 고품질 데이터셋.
   • Quality > Quantity: 인터넷의 지저분한 수조 개의 토큰보다, 인간 전문가가 쓴 만 개의 깔끔한 모범 답안이 훨씬 강력한 효과를 발휘함.
3. 단계적 위치:
   • Pre-training -> SFT (현재 단계) -> RLHF (최종 정렬).

⚠️ 모순 및 업데이트 (Contradictions & Updates)

• 과거 데이터와의 충돌: 과거에는 파인튜닝이 데이터 양 싸움이라 믿었으나, 현대 AI 정책은 데이터의 양을 1/1000로 줄이더라도 독보적인 품질의 데이터를 확보하는 '데이터 큐레이션 정책'을 기술 경쟁력의 핵심으로 삼음(RL Update, 예: LIMA 연구).
• 정책 변화(RL Update): 기업 내부의 SFT 데이터셋이 외부로 유출될 경우 경쟁사에 모델의 페르소나를 그대로 노출하게 되므로, SFT용 학습 데이터에 대한 '지적 재산권 보호 및 보안 격리 정책'이 강화됨.

🔗 지식 연결 (Graph)

• Foundational Models, RLHF (인간 피드백 기반 강화 학습), Prompt-Engineering, Transfer Learning, Ps-Reinforce
• Modern Tech/Tools: PEFT (LoRA, QLoRA), Axolotl, Hugging Face TRL.

---

🤖 LLM 활용 힌트 (How to Use This Knowledge)

언제 이 지식을 쓰는가:

• (TODO)

언제 쓰면 안 되는가:

• (TODO)

🧪 검증 상태 (Validation)

• 정보 상태: needs_review
• 출처 신뢰도: A
• 검토 이유: (P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)

🧬 중복 검사 (Duplicate Check)

• 기존 유사 문서: (TODO: 인덱서 클러스터 리포트 참조)
• 처리 방식: UPDATE (자동 정규화)
• 처리 이유: Phase 1 정규화 — 옛 템플릿/누락 필드 보강.

🕓 변경 이력 (Changelog)

날짜	변경 내용	처리 방식	신뢰도
2026-05-08	P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화)	UPDATE	A