Antigravity Agent
41 lines
3.4 KiB
Markdown
41 lines
3.4 KiB
Markdown
---
|
|
id: [[P-Reinforce|P-Reinforce]]-AUTO-ATME-001
|
|
category: Unified
|
|
confidence_score: 1.00
|
|
tags: [auto-reinforced, attention-mechanisms, transformer, [[Deep-Learning|Deep-Learning]], neural-networks, ai-[[Architecture|Architecture]]]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Attention Mechanisms|Attention Mechanisms]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "지능의 조명등: 입력된 방대한 데이터 중 현재의 맥락에 가장 중요한 핵심 정보에만 가중치를 두어 '집중'함으로써, 복잡한 관계를 효율적으로 파악해내는 현대 AI 혁명의 핵심 동력."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
주의 메커니즘(Attention Mechanisms)은 신경망이 특정 정보를 처리할 때 입력 데이터의 모든 부분에 동일한 중요도를 부여하는 대신, 관련성이 높은 부분에 더 많은 자원을 할당하도록 하는 기술입니다.
|
|
|
|
1. **핵심 작동 원리 (The Transformer Approach)**:
|
|
* **Query (질문)**: 현재 내가 찾고자 하는 정보의 성격.
|
|
* **Key (특징)**: 데이터 베이스에 있는 각 정보가 가진 특징.
|
|
* **Value (값)**: 실제 정보의 내용.
|
|
* **Mechanism**: Query와 Key 사이의 유사도(Score)를 계산하여, 점수가 높은 Value를 더 많이 반영함 (Softmax 활용).
|
|
2. **Self-Attention**:
|
|
* 문장 내 한 단어가 다른 모든 단어들과의 관계를 스스로 파악하여 맥락적 의미를 완성함. (예: "배를 먹다"에서 '배'와 '먹다'의 강한 연관성 감지)
|
|
3. **의의**:
|
|
* 순차적으로 데이터를 처리하던 과거 기술(RNN)의 한계를 극복하고, 장거리 의존성(Long-range dependency)을 완벽히 해결하여 ChatGPT와 같은 거대 모델의 시대를 엶.
|
|
|
|
2. **주요 변형 및 최적화**:
|
|
* **[[Flash Attention|Flash Attention]]**: 메모리 대역폭 문제를 해결하여 속도를 2~4배 높인 하드웨어 인식 최적화.
|
|
* **[[Grouped-Query Attention (GQA)|Grouped-Query Attention (GQA)]]**: MHA의 성능과 MQA의 효율성을 절충한 현대 LLM의 표준.
|
|
* **[[Sparse Attention|Sparse Attention]]**: 특정 토큰만 선택적으로 참조하여 복잡도를 $O(n^2)$에서 $O(n)$으로 축소.
|
|
* **[[Ring Attention|Ring Attention]]**: 다중 장치 분산 처리를 통해 백만 단위 이상의 초장기 컨텍스트 실현.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 과거에는 모든 데이터를 골고루 보거나 순서대로 보는 것이 정확하다고 믿었으나, 현대 딥러닝 정책은 필요한 것만 골라 보는 'Attention 효율화 정책'이 지능의 성능을 결정한다는 정책적 승리를 거둠(RL Update).
|
|
- **정책 변화(RL Update)**: 단순히 연산량만 줄이는 것을 넘어, 메모리 계층 구조를 이해하고(Flash) 토큰 관계의 희소성을 이용하는(Sparse/GQA) 하이브리드 어텐션 정책이 2026년 이후의 표준으로 자리 잡음.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Transformers|Transformers]], [[Deep Learning|Deep Learning]], [[Natural Language Processing (NLP)|Natural Language Processing (NLP)]], [[LLM Inference Optimization|LLM Inference Optimization]]
|
|
- **Specific Technologies**: [[Multi-Head Attention (MHA)|MHA]], [[Grouped-Query Attention (GQA)|GQA]], [[Flash Attention|Flash Attention]], [[Ring Attention|Ring Attention]], [[Sparse Attention|Sparse Attention]].
|
|
---
|