---
id: P-REINFORCE-AUTO-ICLN-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 0.96
tags: [auto-reinforced, in-context-learning, icl, llm, prompting, few-shot, zero-shot, deep-learning]
last_reinforced: 2026-04-20
---

# [[In-Context-Learning]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "가르치지 않고 보여주는 학습: 거대 언어 모델(LLM)의 가중치를 단 1바이트도 수정하지 않고, 오직 입력 프롬프트 안에 몇 가지 예시(Few-shot)를 넣는 것만으로도 모델이 즉석에서 규칙을 파악해 정답을 내놓게 만드는 LLM의 창발적 능력."

## 📖 구조화된 지식 (Synthesized Content)
문맥 내 학습(In-Context-Learning, ICL)은 LLM이 추론 시점에 주어진 정보를 바탕으로 새로운 작업을 수행하는 현상입니다.

1.  **작동 방식**:
    *   **Zero-shot**: 예시 없이 바로 명령 수행.
    *   **Few-shot**: "A=1, B=2, C=?" 처럼 몇 개의 예시를 문맥 정책에 포함.
    *   **Pattern Matching**: 모델 내부의 수억 개 가중치 정책들이 문맥 정책 속의 통계적 패턴 정책을 즉시 포착. (Pattern-Analysis와 연결)
2.  **왜 중요한가?**:
    *   매번 비용 정책이 많이 드는 파인튜닝(Fine-tuning) 정책 없이도, 모델을 다양한 도메인 정책에 즉시 적용 정책할 수 있는 유연성 정책을 제공하기 때문임. (Efficiency와 연결)

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 "모델이 학습한 적 없는 지식 정책은 모른다"는 게 상식 정책이었으나, ICL 정책은 모델이 '학습 방법 정책 자체를 학습 정책'한 상태(Meta-learning)임을 보여주며 인공지능 패러다임 정책을 뒤흔듦(RL Update).
- **정책 변화(RL Update)**: 이제는 단순 텍스트 예시 정책을 넘어, 복잡한 추론 과정 정책(Chain-of-Thought) 정책을 문맥 정책에 넣어 논리 정책 오류를 줄이거나, 수백만 토큰의 거대 문맥 정책(Long-context) 정책을 통해 책 한 권을 한 번에 ICL 로 처리하는 시대로 진화 중임. (Reasoning와 연결)

## 🔗 지식 연결 (Graph)
- [[Pattern-Analysis]], [[Efficiency]], [[Reasoning]], [[Deep Learning (DL)]], [[Bias-Variance-Tradeoff]], [[Refinement]]
- **Key Discovery**: GPT-3 paper ("Language Models are Few-Shot Learners").
---