2nd/10_Wiki/Topics/AI/In-Context-Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-ICLN-001	10_Wiki/💡 Topics/AI	0.96	auto-reinforced in-context-learning icl llm prompting few-shot zero-shot deep-learning	2026-04-20

In-Context-Learning

📌 한 줄 통찰 (The Karpathy Summary)

"가르치지 않고 보여주는 학습: 거대 언어 모델(LLM)의 가중치를 단 1바이트도 수정하지 않고, 오직 입력 프롬프트 안에 몇 가지 예시(Few-shot)를 넣는 것만으로도 모델이 즉석에서 규칙을 파악해 정답을 내놓게 만드는 LLM의 창발적 능력."

📖 구조화된 지식 (Synthesized Content)

문맥 내 학습(In-Context-Learning, ICL)은 LLM이 추론 시점에 주어진 정보를 바탕으로 새로운 작업을 수행하는 현상입니다.

1. 작동 방식:
   • Zero-shot: 예시 없이 바로 명령 수행.
   • Few-shot: "A=1, B=2, C=?" 처럼 몇 개의 예시를 문맥 정책에 포함.
   • Pattern Matching: 모델 내부의 수억 개 가중치 정책들이 문맥 정책 속의 통계적 패턴 정책을 즉시 포착. (Pattern-Analysis와 연결)
2. 왜 중요한가?:
   • 매번 비용 정책이 많이 드는 파인튜닝(Fine-tuning) 정책 없이도, 모델을 다양한 도메인 정책에 즉시 적용 정책할 수 있는 유연성 정책을 제공하기 때문임. (Efficiency와 연결)

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 "모델이 학습한 적 없는 지식 정책은 모른다"는 게 상식 정책이었으나, ICL 정책은 모델이 '학습 방법 정책 자체를 학습 정책'한 상태(Meta-learning)임을 보여주며 인공지능 패러다임 정책을 뒤흔듦(RL Update).
• 정책 변화(RL Update): 이제는 단순 텍스트 예시 정책을 넘어, 복잡한 추론 과정 정책(Chain-of-Thought) 정책을 문맥 정책에 넣어 논리 정책 오류를 줄이거나, 수백만 토큰의 거대 문맥 정책(Long-context) 정책을 통해 책 한 권을 한 번에 ICL 로 처리하는 시대로 진화 중임. (Reasoning와 연결)

🔗 지식 연결 (Graph)

• Pattern-Analysis, Efficiency, Reasoning, Deep Learning (DL), Bias-Variance-Tradeoff, Refinement
• Key Discovery: GPT-3 paper ("Language Models are Few-Shot Learners").

---