29 lines
2.0 KiB
Markdown
29 lines
2.0 KiB
Markdown
---
|
|
id: COMP-NEURO-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [neuroscience, reinforcement-learning, dopamine, brain-modeling]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Computational Neuroscience of Reinforcement Learning (강화학습의 계산 신경과학)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "인간의 학습 메커니즘을 수학적 강화학습 언어로 해독하라" — 뇌의 보상 시스템과 도파민 분비 기제를 시간차 학습(TD Learning) 및 가치 기반 선택 모델로 설명하려는 뇌과학과 AI의 융합 학문.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 실제 생물학적 뉴런의 활동과 강화학습 알고리즘(예: Q-Learning) 간의 상관관계를 모델링하여 학습의 생물학적 하드웨어 원리를 파악하는 패턴.
|
|
- **세부 내용:**
|
|
- **Reward Prediction Error (RPE):** 도파민 뉴런이 보상 자체가 아닌, '기대와 실제 보상의 차이'에 반응한다는 사실을 TD 에러 모델로 증명.
|
|
- **Basal Ganglia Modeling:** 뇌의 기저핵이 가치 함수를 저장하고 행동 선택을 수행하는 액터-크리틱(Actor-Critic) 구조와 유사함을 분석.
|
|
- **Exploration vs Exploitation:** 전전두엽과 줄무늬체 간의 상호작용을 통해 미지의 보상을 탐색할지, 기존 보상을 취할지 결정하는 메커니즘 수치화.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 단순 조건 반사(Pavlovian) 모델에서 현대의 정교한 예측 부호화(Predictive Coding) 및 계층적 RL 모델로 확장.
|
|
- **정책 변화:** Antigravity 에이전트의 보상 함수 설계 시, 인간의 '만족도 지연' 기제를 참고하여 장기적 목표 달성 확률을 높이는 로직 적용.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- **Parent:** 10_Wiki/💡 Topics/AI
|
|
- **Related:** Dopamine-RPE, TD-Learning, Basal-Ganglia, Decision-Making
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Computational Neuroscience of Reinforcement Learning.md
|