Chain-of-Thought (CoT, 사고 사슬 프롬프팅)

📌 Brief Summary

Chain-of-Thought(CoT)는 LLM에게 최종 답을 바로 출력하는 대신 중간 추론 단계(Reasoning Steps)를 명시적으로 생성하도록 유도하여 복잡한 수학·논리·다단계 추론 과제에서의 정확도를 높이는 프롬프팅 기법이다. "생각의 흔적"을 남기게 함으로써 모델이 더 정확한 답에 도달하게 한다.

---

📖 Core Content

## 1. CoT의 핵심 아이디어

```
[Zero-Shot 방식 (CoT 없음)]
  프롬프트: "철수는 사과 5개, 영희는 3개 더 많이 가짐. 
             둘이 합치면?"
  LLM 출력: "11개" ← 직접 출력, 오류 가능

[Zero-Shot CoT 방식 ("Let's think step by step")]
  프롬프트: "...합치면? Let's think step by step."
  LLM 출력:
    "철수: 5개
     영희: 5 + 3 = 8개
     합계: 5 + 8 = 13개"  ← 단계별 추론으로 정확도 향상

[Few-Shot CoT 방식]
  예제 (추론 과정 포함)를 먼저 제공 → 패턴 학습 후 적용
```

---

## 2. CoT 유형 분류

| 유형 | 방법 | 특징 |
|------|------|------|
| **Zero-Shot CoT** | "Let's think step by step" 추가 | 추가 예제 불필요, 간편 |
| **Few-Shot CoT** | 추론 과정 포함된 예제 2~8개 제공 | 더 높은 성능, 예제 준비 필요 |
| **Self-Consistency** | CoT를 여러 번 생성 → 다수결 | 정확도 ↑, 비용 ↑ |
| **Tree-of-Thought** | 추론을 트리 형태로 분기·탐색 | 복잡한 탐색 문제에 강점 |
| **ReAct** | 추론 + 외부 도구 실행 결합 | 실시간 정보 검색 연동 가능 |

---

## 3. 성능 향상 수치

| 모델 | 벤치마크 | CoT 없음 | CoT 적용 | 향상 |
|------|---------|---------|---------|------|
| **PaLM 540B** | GSM8K (수학) | 17.9% | **56.9%** | +39.0%p |
| **GPT-4** | MATH | — | **92.0%** | — |
| **DeepSeek-R1** | AIME 2024 | — | **79.8%** | (GRPO+CoT) |

---

## 4. CoT가 성능을 향상시키는 메커니즘 (인과관계)

```
[문제] 복잡한 다단계 계산 → 직접 출력 시 중간 연산 오류 발생

[CoT 적용]
  모델이 중간 단계를 토큰으로 명시 생성
        ↓
  각 단계의 오류를 다음 단계에서 컨텍스트로 활용 가능
        ↓
  사실상 모델의 "작업 메모리(Working Memory)" 역할
        ↓
  최종 답 생성 시 이전 추론 단계를 참조 → 오류 감소
```

---

## 5. GRPO와 CoT의 시너지

```
[GRPO 보상 함수]
  정답만 맞으면 보상 = 1.0
  정답 + 단계적 추론 포함 시 보상 = 1.2

[효과]
  모델이 더 많은 추론 단계 생성을 선호하도록 학습
  → CoT가 자발적으로 발생 (프롬프트 없이도)
  → DeepSeek-R1의 "Thinking" 토큰: 수백~수천 토큰의 내부 추론 발생
```

---

🔗 Knowledge Connections

- **Related Topics:** [[GRPO (Group Relative Policy Optimization)|GRPO (Group Relative Policy Optimization)]], [[강화학습 (Reinforcement Learning)|강화학습 (Reinforcement Learning)]], [[Multi-Hop Reasoning (다중 홉 추론)|Multi-Hop Reasoning (다중 홉 추론)]], [[LLM Hallucination (언어 모델 환각)|LLM Hallucination (언어 모델 환각)]], [[RAG (검색 증강 생성)|RAG (검색 증강 생성)]], [[GraphRAG (그래프 기반 검색 증강 생성)|GraphRAG (그래프 기반 검색 증강 생성)]], [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]]
- **Projects/Contexts:** AI 추론 시스템
- **Contradictions/Notes:**
  - CoT는 추론 토큰 수를 크게 늘림 → 추론 비용·지연 증가 → 실시간 시스템에서 트레이드오프.
  - Self-Consistency (다수결 CoT)는 정확도↑이지만 비용 G배 증가 → 배포 환경에서 신중히 선택.
  - **신규 키워드**: `Tree-of-Thought`, `ReAct (Reasoning + Acting)`, `Self-Consistency` → 탐색 큐 추가.