Initial Commit: Reinforced Knowledge Wiki v1.0 - Pure Origin

2026-04-20 14:26:57 +09:00
parent 895d66e238
commit 46fd50381e
4457 changed files with 174028 additions and 0 deletions
@@ -0,0 +1,93 @@
+[[Chain-of-Thought (CoT, 사고 사슬 프롬프팅)]]
+
+📌 Brief Summary
+
+Chain-of-Thought(CoT)는 LLM에게 최종 답을 바로 출력하는 대신 중간 추론 단계(Reasoning Steps)를 명시적으로 생성하도록 유도하여 복잡한 수학·논리·다단계 추론 과제에서의 정확도를 높이는 프롬프팅 기법이다. "생각의 흔적"을 남기게 함으로써 모델이 더 정확한 답에 도달하게 한다.
+
+---
+
+📖 Core Content
+
+## 1. CoT의 핵심 아이디어
+
+```
+[Zero-Shot 방식 (CoT 없음)]
+  프롬프트: "철수는 사과 5개, 영희는 3개 더 많이 가짐. 
+             둘이 합치면?"
+  LLM 출력: "11개" ← 직접 출력, 오류 가능
+
+[Zero-Shot CoT 방식 ("Let's think step by step")]
+  프롬프트: "...합치면? Let's think step by step."
+  LLM 출력:
+    "철수: 5개
+     영희: 5 + 3 = 8개
+     합계: 5 + 8 = 13개"  ← 단계별 추론으로 정확도 향상
+
+[Few-Shot CoT 방식]
+  예제 (추론 과정 포함)를 먼저 제공 → 패턴 학습 후 적용
+```
+
+---
+
+## 2. CoT 유형 분류
+
+| 유형 | 방법 | 특징 |
+|------|------|------|
+| **Zero-Shot CoT** | "Let's think step by step" 추가 | 추가 예제 불필요, 간편 |
+| **Few-Shot CoT** | 추론 과정 포함된 예제 2~8개 제공 | 더 높은 성능, 예제 준비 필요 |
+| **Self-Consistency** | CoT를 여러 번 생성 → 다수결 | 정확도 ↑, 비용 ↑ |
+| **Tree-of-Thought** | 추론을 트리 형태로 분기·탐색 | 복잡한 탐색 문제에 강점 |
+| **ReAct** | 추론 + 외부 도구 실행 결합 | 실시간 정보 검색 연동 가능 |
+
+---
+
+## 3. 성능 향상 수치
+
+| 모델 | 벤치마크 | CoT 없음 | CoT 적용 | 향상 |
+|------|---------|---------|---------|------|
+| **PaLM 540B** | GSM8K (수학) | 17.9% | **56.9%** | +39.0%p |
+| **GPT-4** | MATH | — | **92.0%** | — |
+| **DeepSeek-R1** | AIME 2024 | — | **79.8%** | (GRPO+CoT) |
+
+---
+
+## 4. CoT가 성능을 향상시키는 메커니즘 (인과관계)
+
+```
+[문제] 복잡한 다단계 계산 → 직접 출력 시 중간 연산 오류 발생
+
+[CoT 적용]
+  모델이 중간 단계를 토큰으로 명시 생성
+        ↓
+  각 단계의 오류를 다음 단계에서 컨텍스트로 활용 가능
+        ↓
+  사실상 모델의 "작업 메모리(Working Memory)" 역할
+        ↓
+  최종 답 생성 시 이전 추론 단계를 참조 → 오류 감소
+```
+
+---
+
+## 5. GRPO와 CoT의 시너지
+
+```
+[GRPO 보상 함수]
+  정답만 맞으면 보상 = 1.0
+  정답 + 단계적 추론 포함 시 보상 = 1.2
+
+[효과]
+  모델이 더 많은 추론 단계 생성을 선호하도록 학습
+  → CoT가 자발적으로 발생 (프롬프트 없이도)
+  → DeepSeek-R1의 "Thinking" 토큰: 수백~수천 토큰의 내부 추론 발생
+```
+
+---
+
+🔗 Knowledge Connections
+
+- **Related Topics:** [[GRPO (Group Relative Policy Optimization)]], [[강화학습 (Reinforcement Learning)]], [[Multi-Hop Reasoning (다중 홉 추론)]], [[LLM Hallucination (언어 모델 환각)]], [[RAG (검색 증강 생성)]], [[GraphRAG (그래프 기반 검색 증강 생성)]], [[SFT (Supervised Fine-Tuning)]]
+- **Projects/Contexts:** [[AI 추론 시스템]]
+- **Contradictions/Notes:**
+  - CoT는 추론 토큰 수를 크게 늘림 → 추론 비용·지연 증가 → 실시간 시스템에서 트레이드오프.
+  - Self-Consistency (다수결 CoT)는 정확도↑이지만 비용 G배 증가 → 배포 환경에서 신중히 선택.
+  - **신규 키워드**: `Tree-of-Thought`, `ReAct (Reasoning + Acting)`, `Self-Consistency` → 탐색 큐 추가.