29 lines
2.0 KiB
Markdown
29 lines
2.0 KiB
Markdown
---
|
|
id: LSTM-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [deep-learning, nlp, rnn, ai-history, time-series]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# [[LSTM (Long Short-Term Memory)|LSTM (Long Short-Term Memory)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "기억할 것과 잊을 것을 스스로 결정하는 똑똑한 메모리 셀" — 기존 RNN의 고질적인 문제인 '장기 의존성(Long-term dependency)' 손실을 해결하기 위해 게이트(Gate) 구조를 도입한 순환 신경망 아키텍처.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 정보의 흐름을 조절하는 세 가지 문(Gate)을 통해, 중요한 정보는 오래 보존하고 불필요한 정보는 즉시 지워버리는 시계열 데이터 처리 패턴.
|
|
- **세부 내용:**
|
|
- **Forget Gate:** 이전 상태의 정보 중 무엇을 버릴지 결정.
|
|
- **Input Gate:** 현재 입력 정보 중 무엇을 셀 상태(Cell State)에 저장할지 결정.
|
|
- **Output Gate:** 갱신된 셀 상태를 바탕으로 다음 단계로 전달할 값을 결정.
|
|
- **Cell State:** 컨베이어 벨트처럼 정보가 흐르며, 게이트들에 의해 정보가 추가되거나 삭제됨.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 자연어 처리의 독보적 존재였으나, 병렬 연산이 불가능한 순차적 구조라는 한계 때문에 현재는 트랜스포머(Transformer) 아키텍처에 자리를 내줌. 하지만 음성 인식이나 시계열 수치 예측 분야에서는 여전히 활용됨.
|
|
- **정책 변화:** Antigravity 프로젝트의 센서 데이터 분석(Telemetry) 및 사용자 활동 패턴 예측 시, 가벼운 LSTM 모델을 보조적으로 운용함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- Recurrent-Neural-Network, Gated-Recurrent-Unit, [[Transformer-Architecture|Transformer-Architecture]], [[Time-Series-Analysis|Time-Series-Analysis]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/LSTM (Long Short-Term Memory).md
|