---
id: COMP-NEURO-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [neuroscience, reinforcement-learning, dopamine, brain-modeling]
last_reinforced: 2026-04-26
---

# Computational Neuroscience of Reinforcement Learning (강화학습의 계산 신경과학)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "인간의 학습 메커니즘을 수학적 강화학습 언어로 해독하라" — 뇌의 보상 시스템과 도파민 분비 기제를 시간차 학습(TD Learning) 및 가치 기반 선택 모델로 설명하려는 뇌과학과 AI의 융합 학문.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 실제 생물학적 뉴런의 활동과 강화학습 알고리즘(예: Q-Learning) 간의 상관관계를 모델링하여 학습의 생물학적 하드웨어 원리를 파악하는 패턴.
- **세부 내용:**
    - **Reward Prediction Error (RPE):** 도파민 뉴런이 보상 자체가 아닌, '기대와 실제 보상의 차이'에 반응한다는 사실을 TD 에러 모델로 증명.
    - **Basal Ganglia Modeling:** 뇌의 기저핵이 가치 함수를 저장하고 행동 선택을 수행하는 액터-크리틱(Actor-Critic) 구조와 유사함을 분석.
    - **Exploration vs Exploitation:** 전전두엽과 줄무늬체 간의 상호작용을 통해 미지의 보상을 탐색할지, 기존 보상을 취할지 결정하는 메커니즘 수치화.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 단순 조건 반사(Pavlovian) 모델에서 현대의 정교한 예측 부호화(Predictive Coding) 및 계층적 RL 모델로 확장.
- **정책 변화:** Antigravity 에이전트의 보상 함수 설계 시, 인간의 '만족도 지연' 기제를 참고하여 장기적 목표 달성 확률을 높이는 로직 적용.

## 🔗 지식 연결 (Graph)
- **Parent:** 10_Wiki/💡 Topics/AI
- **Related:** Dopamine-RPE, TD-Learning, Basal-Ganglia, Decision-Making
- **Raw Source:** 10_Wiki/Topics/AI/Computational Neuroscience of Reinforcement Learning.md