Antigravity Agent
33 lines
2.5 KiB
Markdown
33 lines
2.5 KiB
Markdown
---
|
|
id: PREI-AUTO-SSM-001
|
|
category: Unified
|
|
confidence_score: 0.95
|
|
tags: [auto-reinforced, [[SSM|SSM]], linear-time, sequence-modeling, [[RNN|RNN]], [[Convolution|Convolution]]-duality]
|
|
last_reinforced: 2026-05-05
|
|
---
|
|
|
|
# [[SSM|상태 공간 모델 (State Space Models)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "과거의 무한한 흐름을 유한한 벡터에 압축하여 전달하는 재귀(Recurrence)의 효율성과, 미래를 한꺼번에 계산하는 합성곱(Convolution)의 속도를 동시에 거머쥐려는 수학적 시도."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
상태 공간 모델(SSM)은 입력을 숨겨진 상태(State)를 거쳐 출력으로 매핑하는 제어 이론 기반의 신경망 아키텍처입니다.
|
|
|
|
1. **동적 시스템의 수학적 모델링**:
|
|
* 입력 $x(t)$가 시스템의 내부 상태 $h(t)$를 업데이트하고, 이 상태가 다시 출력 $y(t)$를 생성하는 $h'(t) = Ah(t) + Bx(t)$ 및 $y(t) = Ch(t)$의 미분 방정식 구조를 가짐.
|
|
2. **이산화(Discretization)를 통한 디지털 구현**:
|
|
* 연속적인 미분 방정식을 컴퓨터가 처리할 수 있는 이산형 구조로 변환. 영차 유지(Zero-Order Hold, ZOH) 등 기법을 통해 매개변수 $\Delta$를 사용하여 상태 전이 행렬을 계산.
|
|
3. **이중성(Duality)의 활용**:
|
|
* **순환(Recurrent) 모드**: 추론 시 고정된 상태 크기를 유지하며 과거 정보를 압축 전달 ($O(1)$ 추론 비용).
|
|
* **합성곱(Convolutional) 모드**: 학습 시 모든 타임스텝의 연산을 한꺼번에 병렬 처리하여 학습 속도 극대화.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **LTI(선형 시불변)의 한계 (RL Update)**: 초기 SSM은 모든 시점에 동일한 연산 행렬(A, B, C)을 사용하여 맥락을 능동적으로 선택하지 못하는 '망각 없는 기억'의 문제를 가짐. 이 모순은 입력에 따라 행렬이 변하는 **[[Selective-SSM|선택적 SSM(Selective SSM)]]**으로 진화하며 해결됨.
|
|
- **정보 압축의 트레이드오프**: 모든 과거 정보를 고정된 크기의 벡터에 담아야 하므로, 트랜스포머의 KV 캐시와 달리 정밀한 정보 인출(Exact Retrieval)에서 구조적 열세에 놓일 수밖에 없음.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Selective-SSM|Selective-SSM]], [[Mamba|Mamba]], [[RNN|RNN]], [[Transformer|Transformer]] (대조군), [[HiPPO|HiPPO]] (SSM의 기억 메모리 기반)
|
|
- **Raw Source**: Datacollector_MAC/out_wiki/상태 공간 모델 (SSM).md
|
|
---
|