Antigravity Agent
34 lines
2.6 KiB
Markdown
34 lines
2.6 KiB
Markdown
---
|
|
id: PREI-AUTO-S-SSM-001
|
|
category: Unified
|
|
confidence_score: 0.97
|
|
tags: [auto-reinforced, [[Selective-SSM|Selective-SSM]], S6-algorithm, information-filtering, context-integration, [[Mamba|Mamba]]-core]
|
|
last_reinforced: 2026-05-05
|
|
---
|
|
|
|
# [[Selective-SSM|선택적 상태 공간 모델 (Selective SSM)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "데이터의 흐름에 따라 게이트를 열고 닫아 무엇을 기억하고 무엇을 잊을지 스스로 결정하는, SSM 세계관의 인지적 자의식."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
선택적 SSM(Selective SSM, 일명 S6)은 기존 SSM의 경직된 매개변수 구조를 깨고, 입력값에 따라 상태 전이가 변하도록 설계된 동적 아키텍처입니다.
|
|
|
|
1. **입력 의존적 매개변수화**:
|
|
* 기존 SSM은 입력과 상관없이 고정된 A, B, C 행렬을 가졌으나, 선택적 SSM은 매개변수 $B, C, \Delta$를 현재 입력 $x_t$의 함수로 정의.
|
|
* 이를 통해 모델은 문맥상 중요한 토큰은 강하게 기억하고, 무의미한 노이즈는 흘려버리는 '선택적 기억'이 가능해짐.
|
|
2. **선택적 스캔(Selective Scan)의 도입**:
|
|
* 매개변수가 시점마다 변함에 따라 효율적인 합성곱 연산(Convolution)이 불가능해진 문제를 해결하기 위해 도입.
|
|
* 수학적 결합 법칙을 활용하여 입력을 작은 청크로 나누어 GPU 상에서 병렬로 처리하는 **하드웨어 인식 병렬 스캔** 기술을 적용.
|
|
3. **동적 맥락 압축**:
|
|
* 고정된 상태 크기 내에서도 현재 쿼리에 가장 중요한 정보를 우선적으로 압축하여 담음으로써, 긴 문맥 이해 성능을 비약적으로 향상.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **훈련 병렬성 vs 선택적 지능 (RL Update)**: 합성곱의 병렬성을 포기하는 대신 선택적 지능을 얻었으나, 이로 인해 기존의 고속 학습 프레임워크와의 호환성 문제가 발생함. 이는 Mamba의 하드웨어 최적화 로직을 통해 '병렬 스캔'으로 극복됨.
|
|
- **고정 상태의 한계**: 선택적 필터링을 하더라도 상태 벡터의 크기가 고정되어 있다는 물리적 한계는 여전함. 따라서 매우 정교한 세부 정보 인출이 필요한 작업에서는 트랜스포머와의 하이브리드 설계가 필수적임.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[SSM|SSM]], [[Mamba|Mamba]], [[GPU-Memory-Hierarchy|GPU-Memory-Hierarchy]] (최적화 토대), [[Attention-Mechanism|Attention-Mechanism]] (대조군)
|
|
- **Raw Source**: Datacollector_MAC/out_wiki/선택적 상태 공간 모델 (Selective SSM).md
|
|
---
|