2nd/10_Wiki/Topics/AI/Few-Shot-Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-FSLR-001	10_Wiki/💡 Topics/AI	0.97	auto-reinforced few-shot-learning llm prompt-engineering in-context-learning meta-learning	2026-04-20

Few-Shot-Learning

📌 한 줄 통찰 (The Karpathy Summary)

"예시 몇 개로 끝내기: 수천만 개의 데이터로 수개월간 학습하는 대신, 이미 거대한 지식을 가진 모델에게 단 몇 개의 입출력 예시(Short examples)만 보여줌으로써 새로운 작업의 맥락을 즉시 파악하게 만드는 효율적인 지능 가동법."

📖 구조화된 지식 (Synthesized Content)

퓨샷 러닝(Few-Shot-Learning)은 아주 적은 수의 데이터 샘플을 통해 대상에 대한 학습을 수행하는 기법입니다.

1. 주요 방식 (In-Context Learning):
   • Zero-Shot: 예시 없이 명령만 수행.
   • One-Shot: 예시를 딱 하나 보여줌.
   • Few-Shot: 2~5개 정도의 예시를 프롬프트에 포함하여 패턴을 인지시킴.
2. 왜 중요한가?:
   • 데이터 확보가 어려운 특수 도메인에서 AI를 즉각 활용 가능하게 하며, 프롬프트 엔지니어링의 핵심 도구임.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 파라미터를 직접 업데이트하는 '파인튜닝(Fine-tuning) 정책'이 필수였으나, 현대 정책은 거대 모델의 문맥 파악 능력 정책을 활용한 '인컨텍스트 러닝 정책'으로 충분한 성능을 낼 수 있음을 입증함(RL Update).
• 정책 변화(RL Update): 단순히 예시를 보여주는 수준을 넘어, 모델이 예시들로부터 스스로 특징을 추출하고 메타적으로 학습하는 '검색 증강 퓨샷 정책' 등으로 고도화 중임.

🔗 지식 연결 (Graph)

• Gen-AI, Prompt-Engineering, Transfer-Learning, Efficiency, Cognitive Biases
• Modern Tech/Tools: OpenAI API (System message examples), Anthropic Claude prompts, LangChain (Few-shot templates).

---