Antigravity Agent
29 lines
2.1 KiB
Markdown
29 lines
2.1 KiB
Markdown
---
|
|
id: BPTT-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [ai, deep-learning, rnn, backpropagation, sequence-modeling]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Backpropagation Through Time (BPTT, 시간 기반 역전파)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "과거의 그림자를 따라 오차의 근원을 추적하라" — 순환 신경망(RNN)에서 현재 시점의 오차를 이전 시점들로 거슬러 올라가며 전달하여, 시간적 순서(Sequence)를 가진 데이터의 패턴을 학습하게 하는 역전파 기법.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 순차적 데이터의 각 시점(Time Step)을 하나의 레이어로 펼쳐서(Unrolling), 일반적인 신경망의 역전파 알고리즘을 시간 축으로 확장 적용하는 학습 패턴.
|
|
- **세부 내용:**
|
|
- **Unrolling:** RNN의 순환 구조를 시간에 따라 길게 펼쳐진 신경망으로 간주.
|
|
- **Gradient Calculation:** 현재 시점의 손실 함수 기울기를 이전 시점의 가중치들까지 체인 룰(Chain Rule)을 통해 전달.
|
|
- **Vanishing/Exploding Gradient:** 시간이 길어질수록 기울기가 사라지거나 폭주하는 문제 발생. 이를 해결하기 위해 LSTM이나 GRU 같은 게이트 구조가 고안됨.
|
|
- **Truncated BPTT:** 연산 효율과 기울기 소실 방지를 위해 특정 시간 범위까지만 역전파를 수행.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 초기 시퀀스 학습의 표준이었으나, 현재는 트랜스포머의 등장으로 대규모 병렬 처리가 가능해지면서 BPTT의 연산 병목과 한계가 명확해짐.
|
|
- **정책 변화:** Antigravity 프로젝트는 실시간 시계열 센서 데이터 처리와 같은 특수 목적의 경량 RNN 모델 학습 시에만 BPTT 기법을 선별적으로 적용함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Backpropagation|Backpropagation]], Neural-Networks-Foundations, [[Sequence-to-Sequence-Models|Sequence-to-Sequence-Models]], LSTM-and-GRU
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Backpropagation Through Time.md
|