2nd/10_Wiki/Topics/순환 신경망 및 LSTM (RNN & LSTM).md

순환 신경망 및 LSTM (RNN & LSTM)

📌 Brief Summary

순환 신경망(Recurrent Neural Networks, RNN)은 데이터의 순서와 맥락을 파악하기 위해 이전 단계의 정보를 은닉 상태(Hidden State)에 저장하고 다음 단계로 전달하는 신경망 아키텍처입니다 [1, 2]. LSTM(Long Short-Term Memory)은 RNN의 치명적인 약점인 정보 손실 문제를 '게이트(Gate)' 구조로 해결하여 장기 의존성(Long-term Dependency) 학습을 가능하게 한 진화된 모델입니다 [1, 3].

📖 Core Content

• RNN (순환 신경망)의 원리 및 한계

  • 순환 구조: 현재의 입력값과 이전 단계의 은닉 상태를 결합하여 처리함으로써 시퀀스(Sequence) 데이터를 인지합니다 [1].
  • 장기 의존성 문제: 시퀀스가 길어질수록 앞부분의 정보가 뒤로 전달되지 못하고 사라지는 '기울기 소실(Vanishing Gradient)' 문제가 발생합니다 [1, 4].

• LSTM (장단기 메모리)의 혁신

  • 게이트 메커니즘: 정보를 잊을지(Forget Gate), 저장할지(Input Gate), 내보낼지(Output Gate)를 스스로 결정하는 3개의 게이트를 통해 중요한 정보를 선별적으로 기억합니다 [1, 5, 6].
  • 장기 기억 유지: 이를 통해 텍스트 번역, 음성 인식, 시계열 예측 등 긴 맥락이 필요한 작업에서 탁월한 성능을 발휘합니다 [1, 7].

• GRU (Gated Recurrent Unit)

  • LSTM의 복잡한 구조를 간소화하여 연산 효율성을 높인 모델로, 데이터가 적거나 빠른 처리가 필요할 때 효과적입니다 [1].

⚖️ Trade-offs & Caveats

• 병렬 처리의 한계: RNN 계열은 데이터를 순차적으로 처리해야 하므로 대규모 데이터 학습 시 병렬 처리가 어렵습니다. 이는 현재 모든 데이터를 한꺼번에 병렬로 처리하는 트랜스포머(Transformer) 아키텍처로 주류가 넘어간 주된 이유입니다 [1, 8].
• 실시간 효율성: 그러나 초경량 실시간 시계열 예측이나 저지연 센서 데이터 처리에서는 여전히 RNN 계열이 트랜스포머보다 효율적일 수 있습니다 [1].

🔗 Knowledge Connections

• Related Topics: 심층 학습 (Deep Learning, 자연어 처리 (NLP), 시계열 분석 (Time-Series Analysis), 트랜스포머 (Transformer
• Projects/Contexts: 실시간 로그 분석 시스템, 음성 인터페이스 엔진

---

Last updated: 2026-04-30