---
id: P-REINFORCE-AI-BACKPROP
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 1.0
tags: [Backpropagation, Deep Learning, Gradient Descent, Optimization]
last_reinforced: 2026-04-20
---

# [[Backpropagation]] (역전파)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "실수를 뒤에서부터 고쳐 나가는 지혜." 출력층에서 발생한 오차(Loss)가 각 신경망 층의 가중치(Weight)에 얼마나 기여했는지 거꾸로 계산하며 효율적으로 학습시키는 딥러닝의 핵심 학습 메커니즘이다.

## 📖 구조화된 지식 (Synthesized Content)
- **Chain Rule (미분의 연쇄 법칙)**:
    - 전체 오차를 각 파라미터로 미분하기 위해, 각 단계의 부분 미분값을 곱해 나가는 미적분학적 과정.
- **Gradient Computation**:
    - 모든 파라미터에 대한 경사도(Gradient)를 한 번에 계산하여, 경사 하강법(Gradient Descent)을 통해 신경망을 정답에 가깝게 업데이트한다.
- **Efficiency**:
    - 모든 파라미터를 개별적으로 미분하는 것보다 수백만 배 빠르며, 이로 인해 수조 개의 파라미터를 가진 거대 모델의 학습이 가능해졌다.

## ⚠️ 모순 및 업데이트 (RL Update)
- 층이 너무 깊어지면 미분값이 0으로 사라지는 'Vanishing Gradient' 문제가 발생한다. 이를 위해 ReLU 활성화 함수나 ResNet 같은 잔차 연결(Residual Connection) 기술이 보완적으로 사용된다.

## 🔗 지식 연결 (Graph)
- Related: [[Deep-Learning-Architecture-Patterns]] , [[Gradient-Descent]]
- Foundation: [[Computational Theory & Math/Information Theory]]