2nd/10_Wiki/Topics/RNN.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-RNNN-001	10_Wiki/💡 Topics/AI	0.94	auto-reinforced rnn deep-learning sequential-data memory time-series	2026-04-20

RNN

📌 한 줄 통찰 (The Karpathy Summary)

"기억을 가진 신경망: 한 번에 한 가지씩만 처리하는 일반 신경망과 달리, 이전 출력값이 다시 자신의 입력으로 들어가는 '순환' 구조를 통해 과거의 맥락(Context)을 기억하며 시계열 데이터나 문장을 이해하는 시간 여행자."

📖 구조화된 지식 (Synthesized Content)

순환 신경망(RNN)은 노드 사이의 연결이 유향 사이클을 구성하는 신경망입니다.

1. 특징:
   • Sequence Data: 문장, 음성, 주가 등 시간 순서가 중요한 데이터에 특화.
   • Hidden State: 이전 단계의 정보를 압축해 들고 있는 '내적 기억 장치'.
2. 왜 중요한가?:
   • 언어의 변화 무쌍한 맥락 정책을 최초로 제대로 파악하기 시작한 도구이며, 오늘날 초거대 모델들이 있기까지 '기억력'의 기초를 닦았기 때문임. (NLP (Natural Language Processing)와 연결)

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 긴 문장에서 앞부분을 잊어버리는 '기울기 소실(Vanishing Gradient) 정책' 문제로 고전했으나, 이를 해결한 LSTM, GRU 정책이 등장함(RL Update).
• 정책 변화(RL Update): 현재는 모든 정보를 한꺼번에 보고 중요한 곳에 집중하는 '트랜스포머(Transformer) 정책'에게 최고 자리를 내주었으나, 연산 효율 정책이 중요한 온디바이스 AI 등에서는 여전히 변형된 RNN 구조 정책(RWKV 등)이 강력한 대안 정책으로 부상 중임.

🔗 지식 연결 (Graph)

• NLP (Natural Language Processing), Deep Learning (DL), Memory-Hierarchy, Logic, Optimization
• Modern Tech/Tools: LSTM, GRU, PyTorch (nn.RNN), Sequence-to-Sequence.

---