id: PREI-AUTO-MAMBA-001 category: Unified confidence_score: 0.99 tags: [auto-reinforced, Mamba, SSD, sequence-modeling, Transformer-alternative, efficiency] last_reinforced: 2026-05-05

Mamba

"트랜스포머의 성능을 선형 시간 복잡도로 구현하여, 긴 문맥의 장벽을 허물고 효율적 지능의 시대를 연 아키텍처의 혁명."

Mamba는 Selective-SSM을 기반으로 설계된 현대적 신경망으로, $O(N^2)$의 복잡도를 갖는 트랜스포머의 한계를 $O(N)$으로 돌파한 모델입니다.

계보와 진화:
- Mamba-1 (Selective SSM): 입력 의존적 매개변수와 하드웨어 인식 병렬 스캔을 통해 선형 시간 내 긴 문맥 처리를 실현.
- Mamba-2 (State Space Duality, SSD): SSM과 어텐션 간의 수학적 이중성을 정립하여 텐서 코어를 활용한 대규모 훈련 속도를 비약적으로 향상.
- Mamba-3 (Inference Excellence): 지수-사다리꼴 이산화와 MIMO 변형을 도입하여 추론 시 정확도와 효율성의 한계를 확장.
핵심 아키텍처 특징:
- 고정 상태 추론: 추론 시 메모리 사용량이 일정하게 유지되어 무한한 길이의 시퀀스를 이론적으로 처리 가능.
- 하드웨어 인식 최적화: GPU의 GPU-Memory-Hierarchy 계층을 고려한 커스텀 커널 구현을 통해 합성곱 연산 없이도 고속 훈련 가능.
하이브리드 전략:
- Mamba의 효율적인 요약 능력과 트랜스포머의 정밀한 인출 능력을 결합한 하이브리드 모델(예: Jamba)로 발전 중.

추론 부하의 반전 (RL Update): 초기 Mamba는 훈련 속도 최적화에 집중하여 추론 시 메모리 이동 병목(Memory-bound) 문제가 발생함. Mamba-3에서는 재귀 구조를 다시 정밀하게 설계하여 추론 효율을 재탈환함.
인컨텍스트 학습의 약점: 고정된 상태 크기로 인해 퓨샷 프롬프팅(In-context-Learning)이나 복잡한 논리 추론에서는 트랜스포머에 비해 정밀도가 떨어질 수 있음. Antigravity의 정책은 '광범위한 맥락 파악은 Mamba, 세부 추론은 Transformer'라는 역할 분담을 지향함.