chore(wiki): reinforce knowledge batch #6-#10 (200 docs milestone)
This commit is contained in:
@@ -1,31 +1,28 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-ICLN-001
|
||||
id: ICL-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 0.96
|
||||
tags: [auto-reinforced, in-context-learning, icl, llm, prompting, few-shot, zero-shot, deep-learning]
|
||||
last_reinforced: 2026-04-20
|
||||
confidence_score: 1.0
|
||||
tags: [ai, llm, prompting, zero-shot, few-shot]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[In-Context-Learning]]
|
||||
# [[In-Context Learning (인컨텍스트 러닝)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "가르치지 않고 보여주는 학습: 거대 언어 모델(LLM)의 가중치를 단 1바이트도 수정하지 않고, 오직 입력 프롬프트 안에 몇 가지 예시(Few-shot)를 넣는 것만으로도 모델이 즉석에서 규칙을 파악해 정답을 내놓게 만드는 LLM의 창발적 능력."
|
||||
> "모델의 가중치를 바꾸지 않고도 새로운 지식을 가르쳐라" — 별도의 파인튜닝 없이 프롬프트에 포함된 예시나 지침만으로 모델이 즉석에서 태스크를 학습하고 수행하는 LLM의 창발적 능력.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
문맥 내 학습(In-Context-Learning, ICL)은 LLM이 추론 시점에 주어진 정보를 바탕으로 새로운 작업을 수행하는 현상입니다.
|
||||
|
||||
1. **작동 방식**:
|
||||
* **Zero-shot**: 예시 없이 바로 명령 수행.
|
||||
* **Few-shot**: "A=1, B=2, C=?" 처럼 몇 개의 예시를 문맥 정책에 포함.
|
||||
* **Pattern Matching**: 모델 내부의 수억 개 가중치 정책들이 문맥 정책 속의 통계적 패턴 정책을 즉시 포착. (Pattern-Analysis와 연결)
|
||||
2. **왜 중요한가?**:
|
||||
* 매번 비용 정책이 많이 드는 파인튜닝(Fine-tuning) 정책 없이도, 모델을 다양한 도메인 정책에 즉시 적용 정책할 수 있는 유연성 정책을 제공하기 때문임. (Efficiency와 연결)
|
||||
- **추출된 패턴:** 입력 컨텍스트에 포함된 패턴과 논리 구조를 실시간으로 파악하여, 유사한 형식의 출력을 생성해내는 추론 패턴.
|
||||
- **세부 내용:**
|
||||
- **Zero-shot:** 예시 없이 지시사항만으로 태스크 수행.
|
||||
- **Few-shot:** 몇 가지 입-출력 예시를 프롬프트에 포함하여 성능 극대화.
|
||||
- **Emergent Ability:** 특정 파라미터 규모 이상의 모델에서 갑자기 나타나는 지능적 특성.
|
||||
- **Analogy Reasoning:** 예시 사이의 유추 관계를 파악하여 새로운 입력에 적용.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 "모델이 학습한 적 없는 지식 정책은 모른다"는 게 상식 정책이었으나, ICL 정책은 모델이 '학습 방법 정책 자체를 학습 정책'한 상태(Meta-learning)임을 보여주며 인공지능 패러다임 정책을 뒤흔듦(RL Update).
|
||||
- **정책 변화(RL Update)**: 이제는 단순 텍스트 예시 정책을 넘어, 복잡한 추론 과정 정책(Chain-of-Thought) 정책을 문맥 정책에 넣어 논리 정책 오류를 줄이거나, 수백만 토큰의 거대 문맥 정책(Long-context) 정책을 통해 책 한 권을 한 번에 ICL 로 처리하는 시대로 진화 중임. (Reasoning와 연결)
|
||||
- **과거 데이터와의 충돌:** 학습 데이터에 고정된 지식만 답변하던 방식에서, 주어진 컨텍스트를 바탕으로 '생각하는' 방식으로 패러다임 전환.
|
||||
- **정책 변화:** Antigravity 에이전트는 복잡한 작업 지시 시 In-Context Learning을 적극 활용하여, 모델의 기본 성능 이상의 정교한 결과물을 도출함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Pattern-Analysis]], [[Efficiency]], [[Reasoning]], [[Deep Learning (DL)]], [[Bias-Variance-Tradeoff]], [[Refinement]]
|
||||
- **Key Discovery**: GPT-3 paper ("Language Models are Few-Shot Learners").
|
||||
---
|
||||
- [[Few-Shot-Learning]], [[Prompt-Engineering]], [[Dynamic-Few-Shot]], [[RAG]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/In-Context-Learning.md]]
|
||||
|
||||
Reference in New Issue
Block a user