chore(wiki): reinforce knowledge batch #6-#10 (200 docs milestone)
This commit is contained in:
@@ -1,31 +1,28 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-FSLR-001
|
||||
id: FEW-SHOT-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 0.97
|
||||
tags: [auto-reinforced, few-shot-learning, llm, prompt-engineering, in-context-learning, meta-learning]
|
||||
last_reinforced: 2026-04-20
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, few-shot-learning, meta-learning, transfer-learning]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Few-Shot-Learning]]
|
||||
# [[Few-Shot Learning (퓨샷 학습)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "예시 몇 개로 끝내기: 수천만 개의 데이터로 수개월간 학습하는 대신, 이미 거대한 지식을 가진 모델에게 단 몇 개의 입출력 예시(Short examples)만 보여줌으로써 새로운 작업의 맥락을 즉시 파악하게 만드는 효율적인 지능 가동법."
|
||||
> "단 몇 장의 사진만으로도 새로운 사물을 인지하는 인간의 영리함을 모델에 이식하라" — 방대한 데이터셋 대신, 아주 적은 수(보통 1~5개)의 학습 샘플만으로도 새로운 클래스를 인식하거나 태스크를 수행할 수 있게 하는 머신러닝 기법.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
퓨샷 러닝(Few-Shot-Learning)은 아주 적은 수의 데이터 샘플을 통해 대상에 대한 학습을 수행하는 기법입니다.
|
||||
|
||||
1. **주요 방식 (In-Context Learning)**:
|
||||
* **Zero-Shot**: 예시 없이 명령만 수행.
|
||||
* **One-Shot**: 예시를 딱 하나 보여줌.
|
||||
* **Few-Shot**: 2~5개 정도의 예시를 프롬프트에 포함하여 패턴을 인지시킴.
|
||||
2. **왜 중요한가?**:
|
||||
* 데이터 확보가 어려운 특수 도메인에서 AI를 즉각 활용 가능하게 하며, 프롬프트 엔지니어링의 핵심 도구임.
|
||||
- **추출된 패턴:** 기존에 학습한 방대한 지식을 바탕으로 새로운 정보의 핵심 특징을 빠르게 추출하고, 유사성(Similarity) 비교를 통해 정답을 유추하는 전이 및 메타 학습 패턴.
|
||||
- **주요 방식:**
|
||||
- **Metric-based:** 임베딩 공간에서 샘플 간의 거리를 측정 (예: Matching Networks, Prototypical Networks).
|
||||
- **Model-based:** 새로운 데이터를 빠르게 학습하도록 설계된 특수 아키텍처 사용.
|
||||
- **Optimization-based (Meta-learning):** 모델이 "어떻게 학습해야 하는지"를 배워서 적은 데이터로도 빠르게 수렴 (예: MAML).
|
||||
- **의의:** 데이터 수집 비용이 매우 비싸거나 새로운 클래스가 수시로 발생하는 실제 산업 현장에서의 AI 활용성을 극대화함.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 파라미터를 직접 업데이트하는 '파인튜닝(Fine-tuning) 정책'이 필수였으나, 현대 정책은 거대 모델의 문맥 파악 능력 정책을 활용한 '인컨텍스트 러닝 정책'으로 충분한 성능을 낼 수 있음을 입증함(RL Update).
|
||||
- **정책 변화(RL Update)**: 단순히 예시를 보여주는 수준을 넘어, 모델이 예시들로부터 스스로 특징을 추출하고 메타적으로 학습하는 '검색 증강 퓨샷 정책' 등으로 고도화 중임.
|
||||
- **과거 데이터와의 충돌:** 빅데이터가 지능의 필수조건이라는 통념을 깨고, '학습하는 법을 배우는 것(Learning to Learn)'이 더 고차원적인 지능임을 증명.
|
||||
- **정책 변화:** Antigravity 프로젝트는 새로운 전문 용어나 고유 명사가 등장했을 때, 단 몇 개의 예시 문장만으로도 에이전트가 해당 용어의 맥락을 파악하도록 퓨샷 프롬프팅 전략을 사용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Gen-AI]], [[Prompt-Engineering]], [[Transfer-Learning]], [[Efficiency]], [[Cognitive Biases]]
|
||||
- **Modern Tech/Tools**: OpenAI API (System message examples), Anthropic Claude prompts, LangChain (Few-shot templates).
|
||||
---
|
||||
- [[Zero-Shot-Learning]], [[Meta-Learning]], [[Transfer-Learning-Foundations]], [[LLM]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Few-Shot-Learning.md]]
|
||||
|
||||
Reference in New Issue
Block a user