2nd/10_Wiki/Topics/Long-Short-Term-Memory (LSTM).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-LSTM	10_Wiki/💡 Topics/AI	0.98	DeepLearning RNN LSTM NLP	2026-04-20

Long-Short-Term-Memory (LSTM)

📌 한 줄 통찰 (The Karpathy Summary)

"정보의 흐름을 열고 닫는 수도꼭지를 가진 똑똑한 메모리." 기존 RNN의 고질병인 '장기 기억 상실(Vanishing Gradient)' 문제를 해결하여, 수만 단계 이전의 정보도 잊지 않고 현재로 가져오는 시계열 데이터의 혁명이다.

📖 구조화된 지식 (Synthesized Content)

• Cell State: 정보를 담고 흐르는 '긴 통로'. 마치 컨베이어 벨트처럼 정보를 변조 없이 전달함.
• The Three Gates:
  • Forget Gate: 과거의 정보 중 무엇을 버릴지 결정.
  • Input Gate: 현재 들어온 정보 중 무엇을 기억할지 결정.
  • Output Gate: 현재의 기억 중 무엇을 밖으로 내보낼지 결정.
• Utility: 번역, 주가 예측, 음성 인식 등 순서(Sequence)가 중요한 모든 분야를 평정했던 모델이다.

⚠️ 모순 및 업데이트 (RL Update)

• LSTM은 시계열 데이터 처리에 강력하지만, 순차적으로 연산해야 하므로 성능 스케일링(병렬 처리)이 어렵다. 현재는 모든 시점을 동시에 바라보는 트랜스포머(Transformer) 아키텍처에 왕좌를 내어주었으나, 데이터가 적거나 초저지연 하드웨어 구현이 필요한 특수 분야에서는 여전히 현역으로 활동 중이다.

🔗 지식 연결 (Graph)

• Related: Recurrent-Neural-Networks (RNN) , Attention-Mechanism
• Rival: Transformer-Architecture