Files
2nd/10_Wiki/Topics_Dev/Memory-Hierarchy.md
T

36 lines
2.6 KiB
Markdown

---
id: [[P-Reinforce|P-Reinforce]]-AUTO-MEHI-001
category: Dev
confidence_score: 0.95
tags: [auto-reinforced, [[memory|memory]]-hierarchy, computer-[[Architecture|Architecture]], performance, caching, [[Hardware|Hardware]]]
last_reinforced: 2026-04-20
---
# [[Memory-Hierarchy|Memory-Hierarchy]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "속도와 비용의 타협점: 빛처럼 빠르지만 비싸고 용량이 작은 저장소(캐시)부터, 느리지만 저렴하고 거대한 저장소(하드디스크)까지 위계적으로 쌓아 올려, 컴퓨터가 인간의 요구에 '빠르면서도 넉넉하게' 반응하게 만드는 하드웨어의 지혜."
## 📖 구조화된 지식 (Synthesized Content)
메모리 계층 구조(Memory-Hierarchy)는 컴퓨터 아키텍처에서 성능 최적화를 위해 저장 장치를 계층적으로 배치한 구조입니다.
1. **계층의 층위 (위로 갈수록 빠르고 비쌈)**:
* **Registers**: CPU 내부. 가장 빠름.
* **Cache (L1/L2/L3)**: CPU 근처. 자주 쓰는 데이터 보관.
* **Main Memory (RAM)**: 현재 실행 중인 프로그램 데이터.
* **Secondary [[Storage|Storage]] (SSD/HDD)**: 영구 보관. 가장 느림.
2. **핵심 원리 (Locality)**:
* **Temporal Locality**: 방금 쓴 데이터는 곧 다시 쓸 확률이 높다.
* **Spatial Locality**: 지금 쓴 데이터 근처의 데이터도 곧 쓸 확률이 높다.
3. **왜 중요한가?**:
* 저장 장치 간 속도 차이가 수만 배에 달하기 때문에, 이 계층 구조가 망가지면 CPU는 데이터를 기다리느라 놀게 됨(Bottleneck). ([[Efficiency|Efficiency]]와 연결)
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 RAM 용량 증진 정책이 최우선이었으나, 현대 정책은 CPU와 RAM 사이의 거대한 속도 격차 정책(Memory Wall)을 캐시 최적화와 HBM(고대역폭 메모리) 정책으로 극복하는 데 집중함(RL Update).
- **정책 변화(RL Update)**: 거대 AI 모델 학습 정책에서는 수조 개의 파라미터를 GPU 메모리(HBM)와 VRAM, 일반 RAM 사이에서 얼마나 효율적으로 주고받느냐(Communication overhead 감소)가 성능 정책의 핵심이 됨. ([[High-Performance Computing (HPC)|High-Performance Computing (HPC)]]와 연결)
## 🔗 지식 연결 (Graph)
- [[Hardware|Hardware]], [[Efficiency|Efficiency]], [[High-Performance Computing (HPC)|High-Performance Computing (HPC)]], [[Scalability|Scalability]], [[Long-Tail|Long-Tail]]
- **Modern Tech/Tools**: HBM (High Bandwidth Memory), L3 Cache, Virtual Memory, NVMe SSD.
---