--- id: DL-LSTM-001 category: "10_Wiki/πŸ’‘ Topics/AI" confidence_score: 1.0 tags: [ai, deep-learning, rnn, lstm, sequence-modeling, time-series] last_reinforced: 2026-04-26 --- # Long-Short Term Memory (LSTM, μ‹œκ³„μ—΄ λ§₯락) ## πŸ“Œ ν•œ 쀄 톡찰 (The Karpathy Summary) > "μ–΄μ œμ˜ κ΅ν›ˆμ„ μ„ λ³„μ μœΌλ‘œ κΈ°μ–΅ν•˜κ³  였늘의 λ§₯락을 κ²°ν•©ν•˜μ—¬, λŠκΈ°μ§€ μ•ŠλŠ” μ‹œκ°„μ˜ μ‹€νƒ€λž˜λ₯Ό μ™„μ„±ν•˜λΌ" β€” μˆœν™˜ 신경망(RNN)의 μž₯κΈ° μ˜μ‘΄μ„±(Long-term Dependency) 문제λ₯Ό ν•΄κ²°ν•˜μ—¬, 수백 단계 μ΄μ „μ˜ 정보도 ν˜„μž¬μ˜ νŒλ‹¨μ— λ°˜μ˜ν•  수 있게 μ„€κ³„λœ μ‹œν€€μŠ€ 데이터 처리 λͺ¨λΈ. ## πŸ“– κ΅¬μ‘°ν™”λœ 지식 (Synthesized Content) - **μΆ”μΆœλœ νŒ¨ν„΄:** "Selective Memory Gating" β€” λͺ¨λ“  정보λ₯Ό 무쑰건 μˆ˜μš©ν•˜λŠ” λŒ€μ‹ , '망각'κ³Ό 'μž…λ ₯'을 μ œμ–΄ν•˜λŠ” 게이트 λ©”μ»€λ‹ˆμ¦˜μ„ 톡해 μ€‘μš”ν•œ μ •λ³΄λŠ” μž₯κΈ° κΈ°μ–΅(Cell State)으둜 μœ μ§€ν•˜κ³  λΆˆν•„μš”ν•œ λ…Έμ΄μ¦ˆλŠ” μ‹€μ‹œκ°„μœΌλ‘œ μ œκ±°ν•˜λŠ” 정보 선별 νŒ¨ν„΄. - **μ£Όμš” μ‘μš© λΆ„μ•Ό:** - **Natural Language Processing:** λ¬Έμž₯의 μ•žλ’€ λ§₯락을 νŒŒμ•…ν•˜μ—¬ λ²ˆμ—­, μš”μ•½, 감성 뢄석 μˆ˜ν–‰. - **Time-Series Forecasting:** μ£Όκ°€, 날씨, μ „λ ₯ μˆ˜μš” λ“± 과거의 νŒ¨ν„΄μ„ λ°”νƒ•μœΌλ‘œ 미래 수치 예츑. - **Speech Recognition:** μŒμ„± μ‹ ν˜Έμ˜ μ‹œκ³„μ—΄μ  νŠΉμ„±μ„ λΆ„μ„ν•˜μ—¬ ν…μŠ€νŠΈλ‘œ λ³€ν™˜. - **의의:** AIκ°€ 'μ •μ§€λœ μƒνƒœ'κ°€ μ•„λ‹Œ '흐λ₯΄λŠ” μ‹œκ°„' μ†μ—μ„œ 정보λ₯Ό μ²˜λ¦¬ν•˜κ³  μ΄ν•΄ν•˜κ²Œ λ§Œλ“  λ”₯λŸ¬λ‹ μ—­μ‚¬μ˜ μ΄μ •ν‘œ. ## ⚠️ λͺ¨μˆœ 및 μ—…λ°μ΄νŠΈ (Contradictions & RL Update) - **κ³Όκ±° λ°μ΄ν„°μ™€μ˜ 좩돌:** μ‹œν€€μŠ€ 처리의 μ ˆλŒ€ κ°•μžμ˜€μœΌλ‚˜, μ΅œκ·Όμ—λŠ” 병렬 μ²˜λ¦¬κ°€ κ°€λŠ₯ν•˜κ³  더 넓은 λ²”μœ„λ₯Ό ν•œλˆˆμ— λ³΄λŠ”(Self-attention) Transformer에 자리λ₯Ό λ‚΄μ–΄μ£ΌλŠ” μΆ”μ„Έμ΄λ‚˜, μ‹€μ‹œκ°„ μŠ€νŠΈλ¦¬λ°μ΄λ‚˜ 데이터 νš¨μœ¨μ„±μ΄ μ€‘μš”ν•œ νŠΉμ • λ„λ©”μΈμ—μ„œλŠ” μ—¬μ „νžˆ ν•΅μ‹¬μ μœΌλ‘œ μ‚¬μš©λ¨. - **μ •μ±… λ³€ν™”:** Antigravity ν”„λ‘œμ νŠΈλŠ” μ—μ΄μ „νŠΈμ˜ μ‹€μ‹œκ°„ μ‹œμŠ€ν…œ λͺ¨λ‹ˆν„°λ§ 및 μžμ› μ‚¬μš©λŸ‰ μΆ”μ„Έ 뢄석 μ‹œ, 가볍고 연속적인 데이터 μ²˜λ¦¬μ— 강점이 μžˆλŠ” LSTM λͺ¨λΈμ„ 보쑰 μ—”μ§„μœΌλ‘œ ν™œμš©ν•¨. ## πŸ”— 지식 μ—°κ²° (Graph) - Deep-Learning-Foundations, Transformer-Architecture-Foundations, [[Time-Series-Analysis]], Gated-Recurrent-Unit-GRU - **Raw Source:** 10_Wiki/Topics/AI/Long-Short-Term-Memory.md