Antigravity Agent
29 lines
2.2 KiB
Markdown
29 lines
2.2 KiB
Markdown
---
|
|
id: RNN-GRU-001
|
|
category: Dev
|
|
confidence_score: 1.0
|
|
tags: [ai, [[Deep-Learning|Deep-Learning]], rnn, gru, [[LSTM|LSTM]], [[Sequence-Modeling|Sequence-Modeling]]]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# GRU (Gated Recurrent Units, 게이트 순환 유닛)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "복잡한 기억 장치를 덜어내고, 핵심적인 정보의 업데이트와 망각에만 집중하여 학습의 효율을 극대화하라" — LSTM의 장점은 계승하면서도 구조를 단순화하여 연산량을 줄이고 기울기 소실 문제를 극복한 현대적인 순환 신경망(RNN) 변형 모델.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Reset Gate"와 "Update Gate"라는 두 가지 통제 장치를 통해 과거의 정보를 얼마나 유지하고 새로운 정보를 얼마나 받아들일지 결정하는 효율적인 시퀀스 처리 패턴.
|
|
- **핵심 구조:**
|
|
- **Reset Gate:** 과거의 상태를 얼마나 무시할지 결정 (과거 정보의 선택적 망각).
|
|
- **Update Gate:** 과거의 정보와 현재의 정보를 어떤 비율로 섞어 새로운 상태를 만들지 결정 (LSTM의 Forget/Input 게이트 통합).
|
|
- **No Cell [[State|State]]:** LSTM과 달리 별도의 셀 상태 없이 은닉 상태(Hidden State)만으로 정보 전달.
|
|
- **의의:** 데이터셋이 상대적으로 작거나 연산 자원이 제한적인 환경에서 LSTM의 훌륭한 대안이 되며, 언어 모델링 및 시계열 예측에서 널리 활용됨.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 복잡할수록 성능이 좋을 것이라는 편견을 깨고, 구조를 단순화(Less [[Parameter|Parameter]]s)함으로써 오히려 학습 속도와 일반화 성능을 높일 수 있음을 증명.
|
|
- **정책 변화:** Antigravity 프로젝트는 에이전트의 단기 대화 이력을 요약하거나 시퀀스 기반의 이상 징후를 감지할 때, 연산 효율성이 높은 GRU 아키텍처를 우선적으로 고려함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- LSTM-[[Long-Short-Term-Memory|Long-Short-Term-Memory]], RNN-Foundations, [[Sequence-to-Sequence-Models|Sequence-to-Sequence-Models]], Deep-Learning-Foundations
|
|
- **Raw Source:** 10_Wiki/Topics/AI/GRU.md
|