2nd/10_Wiki/Topics/AI/Zero Shot and Few Shot Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-ZFS-001	10_Wiki/💡 Topics/AI	0.99	auto-reinforced few-shot zero-shot in-context-learning prompting llm	2026-04-20

Zero Shot and Few Shot Learning

📌 한 줄 통찰 (The Karpathy Summary)

"예시가 있느냐 없느냐의 차이: 추가 학습 없이 명령어만으로 문제를 푸는 '생지능(Zero Shot)'과, 두세 개의 힌트를 주어 모델의 방향성을 잡아주는 '힌트 학습(Few Shot)'을 통해 AI의 범용성을 극대화하는 기법."

📖 구조화된 지식 (Synthesized Content)

제로샷 및 퓨샷 학습(Zero Shot and Few Shot Learning)은 거대 언어 모델(LLM)이 사전 학습된 방대한 지식을 활용하여, 명시적인 파라미터 업데이트 없이 새로운 태스크를 수행하게 만드는 기법(In-context Learning)입니다.

1. Zero-Shot Learning:
   • 정의: 예시를 단 하나도 주지 않고 오직 명령어(Prompt)만으로 작업을 수행하게 함.
   • 작동: 모델이 이미 배운 보편적 개념 간의 상관관계를 이용해 추론.
   • 예: "다음 문장을 프랑스어로 번역해: [문장]"
2. Few-Shot Learning:
   • 정의: 프롬프트 안에 해결하고자 하는 문제와 유사한 예시(Few examples, 보통 1~5개)를 포함시켜 전달.
   • 작동: 예시의 '패턴'과 '형식'을 즉석에서 모방하여 정확도를 비약적으로 높임.
   • 예: "입력: 사과 -> 출력: 과일, 입력: 자동차 -> 출력: 탈것, 입력: 연필 -> 출력: [모델의 정답]"
3. One-Shot Learning: 예시를 딱 하나만 주는 중간 단계.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 새로운 태스크를 위해 수만 개의 데이터를 통한 전인 교육(Fine-tuning)이 필수였으나, 현대의 LLM 정책은 단 몇 개의 예시만으로도 전문 지식을 흉내 내는 'In-context Learning 정책'만으로도 충분한 성능을 낼 수 있음을 증명함(RL Update).
• 정책 변화(RL Update): 데이터 개인정보 보호 정책이 강화됨에 따라, 데이터를 모델에 주입해 학습시키지 않고 프롬프트 수준에서만 활용하여 휘발시키는 '프라이버시 친화적 제로샷 추론 정책'이 기업용 AI 활용의 표준이 됨.

🔗 지식 연결 (Graph)

• Foundational Models, Prompt-Engineering, Transfer Learning, SFT (Supervised Fine-Tuning), NLP (자연어 처리)
• Modern Tech/Tools: LangChain prompt templates, Meta Llama-3 few-shot benchmarks.

---