---
id: PREI-AUTO-S2-ATTN-001
category: Unified
confidence_score: 0.96
tags: [auto-reinforced, [[S2-Attn|S2-Attn]], shifted-sparse-attention, efficiency, long-context, [[FlashAttention|FlashAttention]]-compatible]
last_reinforced: 2026-05-05
---

# [[S2-Attn|이동된 짧은 어텐션 (Shifted Sparse Attention, S2-Attn)]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "데이터를 잘게 쪼개어 연산 부하를 줄이되, 헤드를 교차로 이동시켜(Shift) 잘려 나간 정보의 맥락을 다시 잇는 영리한 어텐션 퍼즐."

## 📖 구조화된 지식 (Synthesized Content)
S2-Attn은 대규모 언어 모델의 훈련 및 미세 조정 시 연산 비용을 획기적으로 낮추면서도 긴 문맥을 보존하기 위해 고안된 희소 어텐션 기법입니다.

1.  **그룹 분할과 정보 교차**:
    *   긴 시퀀스를 작은 그룹으로 나누어 어텐션을 수행하여 연산량을 줄임.
    *   단순 분할 시 발생하는 그룹 간 정보 단절을 막기 위해, 어텐션 헤드의 절반에서 토큰을 이동(Shift)시켜 인접 그룹과 정보가 겹치도록 설계.
2.  **구현의 극치적 단순성**:
    *   토큰 이동과 차원 변환이라는 단 몇 줄의 코드만으로 표준 어텐션 수준의 성능 유지 가능.
3.  **뛰어난 호환성**:
    *   훈련 시에만 이 방식을 사용하고 추론 시에는 다시 표준 어텐션을 사용할 수 있어, [[FlashAttention|FlashAttention-2]]와 같은 기존 가속 인프라와 즉시 호환됨.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **인과적 마스크와의 불일치 (RL Update)**: 토큰 이동 과정에서 시퀀스 끝의 토큰이 앞으로 오는 등 인과 관계(Causal link)가 뒤섞일 리스크가 있음. 이를 방지하기 위해 마스크를 수정하거나 별도의 그룹 관리가 필요함.
- **패턴 조합의 강제**: 반드시 이동된 헤드와 이동되지 않은 헤드를 절반씩 섞어야만 정상 작동함. 이는 개별 연산보다 '조합의 균형'이 성능의 핵심임을 시사함.

## 🔗 지식 연결 (Graph)
- [[FlashAttention|FlashAttention]], [[Attention-Mechanism|Attention-Mechanism]], [[LongLoRA|LongLoRA]], [[E2LLM|E2LLM]]
- **Raw Source**: Datacollector_MAC/out_wiki/이동된 짧은 어텐션 (S2-Attn).md
---
