[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-RNNN-001
|
||||
id: [[P-Reinforce]]-AUTO-RNNN-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 0.94
|
||||
tags: [auto-reinforced, rnn, deep-learning, sequential-data, memory, time-series]
|
||||
tags: [auto-reinforced, rnn, [[Deep-Learning]], sequential-data, [[memory]], time-series]
|
||||
last_reinforced: 2026-04-20
|
||||
---
|
||||
|
||||
@@ -16,12 +16,12 @@ last_reinforced: 2026-04-20
|
||||
|
||||
1. **특징**:
|
||||
* **Sequence Data**: 문장, 음성, 주가 등 시간 순서가 중요한 데이터에 특화.
|
||||
* **Hidden State**: 이전 단계의 정보를 압축해 들고 있는 '내적 기억 장치'.
|
||||
* **Hidden [[State]]**: 이전 단계의 정보를 압축해 들고 있는 '내적 기억 장치'.
|
||||
2. **왜 중요한가?**:
|
||||
* 언어의 변화 무쌍한 맥락 정책을 최초로 제대로 파악하기 시작한 도구이며, 오늘날 초거대 모델들이 있기까지 '기억력'의 기초를 닦았기 때문임. (NLP (Natural Language Processing)와 연결)
|
||||
* 언어의 변화 무쌍한 맥락 정책을 최초로 제대로 파악하기 시작한 도구이며, 오늘날 초거대 모델들이 있기까지 '기억력'의 기초를 닦았기 때문임. ([[NLP (Natural Language [[Processing]])]]와 연결)
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 긴 문장에서 앞부분을 잊어버리는 '기울기 소실(Vanishing Gradient) 정책' 문제로 고전했으나, 이를 해결한 LSTM, GRU 정책이 등장함(RL Update).
|
||||
- **과거 데이터와의 충돌**: 과거에는 긴 문장에서 앞부분을 잊어버리는 '기울기 소실(Vanishing Gradient) 정책' 문제로 고전했으나, 이를 해결한 [[LSTM]], GRU 정책이 등장함(RL Update).
|
||||
- **정책 변화(RL Update)**: 현재는 모든 정보를 한꺼번에 보고 중요한 곳에 집중하는 '트랜스포머(Transformer) 정책'에게 최고 자리를 내주었으나, 연산 효율 정책이 중요한 온디바이스 AI 등에서는 여전히 변형된 RNN 구조 정책(RWKV 등)이 강력한 대안 정책으로 부상 중임.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
|
||||
Reference in New Issue
Block a user