Antigravity Agent
2.6 KiB
2.6 KiB
id: PREI-AUTO-S-SSM-001 category: Unified confidence_score: 0.97 tags: [auto-reinforced, Selective-SSM, S6-algorithm, information-filtering, context-integration, Mamba-core] last_reinforced: 2026-05-05
Selective-SSM
📌 한 줄 통찰 (The Karpathy Summary)
"데이터의 흐름에 따라 게이트를 열고 닫아 무엇을 기억하고 무엇을 잊을지 스스로 결정하는, SSM 세계관의 인지적 자의식."
📖 구조화된 지식 (Synthesized Content)
선택적 SSM(Selective SSM, 일명 S6)은 기존 SSM의 경직된 매개변수 구조를 깨고, 입력값에 따라 상태 전이가 변하도록 설계된 동적 아키텍처입니다.
- 입력 의존적 매개변수화:
- 기존 SSM은 입력과 상관없이 고정된 A, B, C 행렬을 가졌으나, 선택적 SSM은 매개변수 $B, C, \Delta$를 현재 입력 $x_t$의 함수로 정의.
- 이를 통해 모델은 문맥상 중요한 토큰은 강하게 기억하고, 무의미한 노이즈는 흘려버리는 '선택적 기억'이 가능해짐.
- 선택적 스캔(Selective Scan)의 도입:
- 매개변수가 시점마다 변함에 따라 효율적인 합성곱 연산(Convolution)이 불가능해진 문제를 해결하기 위해 도입.
- 수학적 결합 법칙을 활용하여 입력을 작은 청크로 나누어 GPU 상에서 병렬로 처리하는 하드웨어 인식 병렬 스캔 기술을 적용.
- 동적 맥락 압축:
- 고정된 상태 크기 내에서도 현재 쿼리에 가장 중요한 정보를 우선적으로 압축하여 담음으로써, 긴 문맥 이해 성능을 비약적으로 향상.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 훈련 병렬성 vs 선택적 지능 (RL Update): 합성곱의 병렬성을 포기하는 대신 선택적 지능을 얻었으나, 이로 인해 기존의 고속 학습 프레임워크와의 호환성 문제가 발생함. 이는 Mamba의 하드웨어 최적화 로직을 통해 '병렬 스캔'으로 극복됨.
- 고정 상태의 한계: 선택적 필터링을 하더라도 상태 벡터의 크기가 고정되어 있다는 물리적 한계는 여전함. 따라서 매우 정교한 세부 정보 인출이 필요한 작업에서는 트랜스포머와의 하이브리드 설계가 필수적임.
🔗 지식 연결 (Graph)
- SSM, Mamba, GPU-Memory-Hierarchy (최적화 토대), Attention-Mechanism (대조군)
- Raw Source: Datacollector_MAC/out_wiki/선택적 상태 공간 모델 (Selective SSM).md