2nd/10_Wiki/Topics_Blog/Chain-of-Thought (CoT 罽).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-COT	10_Wiki/💡 Topics/AI	0.99	LLM Chain-of-Thought CoT Inference Search	2026-04-20

Chain-of-Thought (사고의 사슬 CoT)

📌 한 줄 통찰 (The Karpathy Summary)

거대 언어 모델에게 "생각해 봐"라고 한마디 하는 것만으로도, 문제를 단계적으로 분해하여 정답 도출 가능성을 비약적으로 높이는 추론의 기적이다.

📖 구조화된 지식 (Synthesized Content)

• Step-by-Step Reasoning:
  • 질문에 바로 답하지 않고, 중간 과정(Rationales)을 텍스트로 먼저 생성하게 유도함으로써 모델이 자신의 이전 출력을 다음 추론의 근거로 활용하게 하는 기법.
• Zero-shot CoT:
  • 프롬프트 끝에 "Let's think step by step"이라는 문구만 추가해도 상식 추론과 수학 문제 해결 능력이 폭발적으로 증가한다.
• Self-Consistency:
  • 여러 개의 CoT 경로를 생성하게 하여 가장 공통적으로 도출된 결론을 정답으로 선택하는 기법.

⚠️ 모순 및 업데이트 (RL Update)

• CoT는 항상 유리하지 않다. 단순 사실 확인 문제에서는 오히려 불필요한 텍스트 생성으로 인해 에러(Hallucination)가 발생할 확률이 있다. 최근에는 이를 고도화한 Tree-of-Thoughts (ToT) 또는 OpenAI o1처럼 내부적으로 강화학습을 통해 최적의 사고 경로를 찾는 모델로 진화 중이다.

🔗 지식 연결 (Graph)

• Related: Best-of-N-Sampling , Automated-Reasoning
• Foundation: Information Theory