Antigravity Agent
52 lines
3.7 KiB
Markdown
52 lines
3.7 KiB
Markdown
---
|
|
category: Unified
|
|
tags: [auto-consolidated, technical-documentation]
|
|
title: [[Chain-of-Thought (CoT 사고 사슬)|Chain-of-Thought (CoT 사고 사슬)]]
|
|
last_updated: 2026-05-02
|
|
---
|
|
|
|
# [[Chain-of-Thought (CoT 사고 사슬)|Chain-of-Thought (CoT 사고 사슬)]]
|
|
|
|
## 📌 Brief Summary
|
|
> "생각의 과정을 말하게 하라: AI에게 정답만 툭 던지라고 하지 않고, 문제를 단계별로 풀어나가는 중간 추론 과정을 텍스트로 적게 함으로써 복잡한 논리 문제의 정답률을 드라마틱하게 끌어올리는 인지적 증폭 장치."
|
|
|
|
---
|
|
|
|
> 거대 언어 모델에게 "생각해 봐"라고 한마디 하는 것만으로도, 문제를 단계적으로 분해하여 정답 도출 가능성을 비약적으로 높이는 추론의 기적이다.
|
|
|
|
## 📖 Core Content
|
|
사고 사슬(Chain-of-Thought, CoT)은 거대 언어 모델(LLM)의 추론 능력을 극대화하기 위해 '단계별 생각(Step-by-step reasoning)'을 유도하는 기법입니다.
|
|
|
|
1. **핵심 메커니즘**:
|
|
* **Zero-shot CoT**: 프롬프트 끝에 "차근차근 생각해보자(Let's think step by step)"라는 마법의 구를 추가하는 것만으로 추론 성능이 비약적으로 상승.
|
|
* **Few-shot CoT**: 문제 풀이 과정을 보여주는 예시를 몇 개 제공하여 모델이 그 추론 흐름을 모방하게 함.
|
|
2. **왜 효과적인가?**:
|
|
* 모델이 다음 토큰을 예측할 때, 앞서 적은 자신의 추론 과정이 '작업 기억(Working [[memory|memory]])' 역할을 수행하여 최종 정답 도출의 확률적 정확도를 높임.
|
|
|
|
---
|
|
|
|
- **Step-by-Step [[Reasoning|Reasoning]]**:
|
|
- 질문에 바로 답하지 않고, 중간 과정(Rationales)을 텍스트로 먼저 생성하게 유도함으로써 모델이 자신의 이전 출력을 다음 추론의 근거로 활용하게 하는 기법.
|
|
- **Zero-shot CoT**:
|
|
- 프롬프트 끝에 "Let's think step by step"이라는 문구만 추가해도 상식 추론과 수학 문제 해결 능력이 폭발적으로 증가한다.
|
|
- **Self-Consistency**:
|
|
- 여러 개의 CoT 경로를 생성하게 하여 가장 공통적으로 도출된 결론을 정답으로 선택하는 기법.
|
|
|
|
## ⚖️ Trade-offs & Caveats
|
|
- **과거 데이터와의 충돌**: 초기 모델 정책은 단순히 데이터 학습량만 늘리는 정책(Scaling Law)에 집중했으나, 현대 정책은 모델의 내부 연산 비중만큼이나 '출력되는 추론 과정의 양과 질 정책'이 지능 발현의 핵심임을 인정함(RL Update).
|
|
- **정책 변화(RL Update)**: 사용자가 추론 과정을 보는 정책(Open CoT)을 넘어, 모델 내부에서만 추론을 수행하고 결과만 내놓는 '잠재적 CoT 정책'이 OpenAI의 o1 모델 등을 통해 구현되어 성능과 사용성을 모두 잡는 방향으로 진화함.
|
|
|
|
---
|
|
|
|
- CoT는 항상 유리하지 않다. 단순 사실 확인 문제에서는 오히려 불필요한 텍스트 생성으로 인해 에러(Hallucination)가 발생할 확률이 있다. 최근에는 이를 고도화한 `Tree-of-Thoughts (ToT)` 또는 `OpenAI o1`처럼 내부적으로 강화학습을 통해 최적의 사고 경로를 찾는 모델로 진화 중이다.
|
|
|
|
## 🔗 Knowledge Connections
|
|
- [[Reasoning|Reasoning]], [[Prompt-Engineering|Prompt-Engineering]], [[Automated-Reasoning|Automated-Reasoning]], [[Search-Optimization|Search-Optimization]], [[Knowledge-Representation-in-AI|Knowledge-Representation-in-AI]]
|
|
- **Modern Tech/Tools**: OpenAI o1 (Strawberry), Chain of Thought prompting, Self-consistency decoding.
|
|
---
|
|
|
|
---
|
|
|
|
- Related: [[Best-of-N-Sampling|Best-of-N-Sampling]] , [[Automated-Reasoning|Automated-Reasoning]]
|
|
- Foundation: [[Information Theory|Information Theory]]
|