2nd/10_Wiki/Topics/AI/Backpropagation Through Time.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
BPTT-001	10_Wiki/💡 Topics/AI	1.0	ai deep-learning rnn backpropagation sequence-modeling	2026-04-26

Backpropagation Through Time (BPTT, 시간 기반 역전파)

📌 한 줄 통찰 (The Karpathy Summary)

"과거의 그림자를 따라 오차의 근원을 추적하라" — 순환 신경망(RNN)에서 현재 시점의 오차를 이전 시점들로 거슬러 올라가며 전달하여, 시간적 순서(Sequence)를 가진 데이터의 패턴을 학습하게 하는 역전파 기법.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 순차적 데이터의 각 시점(Time Step)을 하나의 레이어로 펼쳐서(Unrolling), 일반적인 신경망의 역전파 알고리즘을 시간 축으로 확장 적용하는 학습 패턴.
• 세부 내용:
  • Unrolling: RNN의 순환 구조를 시간에 따라 길게 펼쳐진 신경망으로 간주.
  • Gradient Calculation: 현재 시점의 손실 함수 기울기를 이전 시점의 가중치들까지 체인 룰(Chain Rule)을 통해 전달.
  • Vanishing/Exploding Gradient: 시간이 길어질수록 기울기가 사라지거나 폭주하는 문제 발생. 이를 해결하기 위해 LSTM이나 GRU 같은 게이트 구조가 고안됨.
  • Truncated BPTT: 연산 효율과 기울기 소실 방지를 위해 특정 시간 범위까지만 역전파를 수행.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 초기 시퀀스 학습의 표준이었으나, 현재는 트랜스포머의 등장으로 대규모 병렬 처리가 가능해지면서 BPTT의 연산 병목과 한계가 명확해짐.
• 정책 변화: Antigravity 프로젝트는 실시간 시계열 센서 데이터 처리와 같은 특수 목적의 경량 RNN 모델 학습 시에만 BPTT 기법을 선별적으로 적용함.

🔗 지식 연결 (Graph)

• Backpropagation, Neural-Networks-Foundations, Sequence-to-Sequence-Models, LSTM-and-GRU
• Raw Source: 10_Wiki/Topics/AI/Backpropagation Through Time.md