2nd/10_Wiki/Topics/AI_and_ML/Computational Neuroscience of Reinforcement Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
COMP-NEURO-001	Unified	1.0	neuroscience Reinforcement-Learning|Reinforcement-Learning Dopamine|Dopamine brain-modeling	2026-04-26

Computational Neuroscience of Reinforcement Learning (강화학습의 계산 신경과학)

📌 한 줄 통찰 (The Karpathy Summary)

"인간의 학습 메커니즘을 수학적 강화학습 언어로 해독하라" — 뇌의 보상 시스템과 도파민 분비 기제를 시간차 학습(TD Learning) 및 가치 기반 선택 모델로 설명하려는 뇌과학과 AI의 융합 학문.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 실제 생물학적 뉴런의 활동과 강화학습 알고리즘(예: Q-Learning) 간의 상관관계를 모델링하여 학습의 생물학적 하드웨어 원리를 파악하는 패턴.
• 세부 내용:
  • Reward Prediction Error (RPE): 도파민 뉴런이 보상 자체가 아닌, '기대와 실제 보상의 차이'에 반응한다는 사실을 TD 에러 모델로 증명.
  • Basal Ganglia Modeling: 뇌의 기저핵이 가치 함수를 저장하고 행동 선택을 수행하는 액터-크리틱(Actor-Critic) 구조와 유사함을 분석.
  • Exploration vs Exploitation: 전전두엽과 줄무늬체 간의 상호작용을 통해 미지의 보상을 탐색할지, 기존 보상을 취할지 결정하는 메커니즘 수치화.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 단순 조건 반사(Pavlovian) 모델에서 현대의 정교한 예측 부호화(Predictive Coding) 및 계층적 RL 모델로 확장.
• 정책 변화: Antigravity 에이전트의 보상 함수 설계 시, 인간의 '만족도 지연' 기제를 참고하여 장기적 목표 달성 확률을 높이는 로직 적용.

🔗 지식 연결 (Graph)

• Parent: 10_Wiki/💡 Topics/AI
• Related: Dopamine-RPE, TD-Learning, Basal-Ganglia, Decision-Making
• Raw Source: 10_Wiki/Topics/AI/Computational Neuroscience of Reinforcement Learning.md