Antigravity Agent
33 lines
2.5 KiB
Markdown
33 lines
2.5 KiB
Markdown
---
|
|
id: PREI-AUTO-GPU-MEM-001
|
|
category: Unified
|
|
confidence_score: 0.94
|
|
tags: [auto-reinforced, [[GPU-Memory-Hierarchy|GPU-Memory-Hierarchy]], hardware-aware, [[FlashAttention|FlashAttention]], [[Mamba|Mamba]], computing-efficiency]
|
|
last_reinforced: 2026-05-05
|
|
---
|
|
|
|
# [[GPU-Memory-Hierarchy|GPU 메모리 계층 (GPU Memory Hierarchy)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "연산 장치와 데이터 저장소 사이의 물리적 거리와 속도 차이를 계층화하여, 가장 뜨거운 데이터를 가장 빠른 곳에 두는 [[AI|AI]] 최적화의 최전선 지형도."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
GPU 메모리 계층은 [[AI|AI]] 연산의 효율성을 결정짓는 물리적 토대이며, 현대의 최신 아키텍처들은 이 계층 구조를 '인식'하고 활용하는 방향으로 설계됩니다.
|
|
|
|
1. **하드웨어 인식(Hardware-aware) 최적화**:
|
|
* **[[Mamba|Mamba]]**: 하드웨어 인식 병렬 스캔 알고리즘을 통해 GPU 메모리 계층 내 데이터 흐름을 최적화하여 RNN의 선형적 한계를 극복.
|
|
* **[[FlashAttention|FlashAttention]]**: 고속 캐시인 SRAM과 대용량 메모리인 HBM 간의 데이터 이동을 최소화하여 어텐션 연산을 가속화.
|
|
2. **계층적 데이터 결합**:
|
|
* 연산 결과물들을 메모리 대역폭을 낭비하지 않도록 계층적으로 결합하여, 불필요한 IO(Input/Output) 오버헤드를 방지.
|
|
3. **물리적 병목과 알고리즘의 조화**:
|
|
* 메모리 용량보다 메모리 대역폭(Bandwidth)이 병목인 현대 컴퓨팅 환경에서, 데이터 이동을 줄이는 알고리즘 설계가 모델의 실제 성능을 결정함.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **추상화의 모순 (RL Update)**: 과거에는 프로그래머가 메모리 계층을 신경 쓰지 않아도 되는 '추상화'가 미덕이었으나, 현재는 하드웨어를 명시적으로 인식하고 제어하는 '하드웨어 밀착형 알고리즘'이 성능의 핵심이 됨.
|
|
- **업데이트 정책**: Antigravity의 연산 정책은 하드웨어 독립적인 코드보다, 타겟 GPU(NVIDIA Blackwell 등)의 메모리 특성을 극대화로 활용하는 하드웨어 인식형 로직을 지향함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[FlashAttention|FlashAttention]], [[Mamba|Mamba]], [[SRAM|SRAM]], [[HBM|HBM]], [[Triton|Triton]]
|
|
- **Raw Source**: Datacollector_MAC/out_wiki/GPU 메모리 계층 (GPU Memory Hierarchy).md
|
|
---
|