[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -1,129 +1,167 @@
|
||||
---
|
||||
id: wiki-2026-0508-in-memory-data-grid
|
||||
title: In Memory Data Grid
|
||||
title: In-Memory Data Grid
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [P-REINFORCE-WIKI-06883F04]
|
||||
aliases: [IMDG, Distributed Cache, In-Memory Computing]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.95
|
||||
tags: [in-memory-data-grid, space-based-architecture, apache-ignite, hazelcast, horizontal-scaling, devops-environment]
|
||||
confidence_score: 0.9
|
||||
verification_status: applied
|
||||
tags: [architecture, distributed-systems, cache, performance, jvm]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-02
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
language: java
|
||||
framework: hazelcast-ignite
|
||||
---
|
||||
|
||||
# [[In-Memory Data Grid]]
|
||||
# In-Memory Data Grid
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
In-Memory Data Grid(IMDG)는 애플리케이션의 디스크가 아닌 여러 서버의 RAM에 데이터를 저장하여 대용량 데이터에 대한 초고속 접근성을 제공하는 분산 시스템입니다 [1]. 주로 공간 기반 아키텍처(Space-Based Architecture)에서 애플리케이션 구성 요소들을 위한 공유 메모리 공간 역할을 하여 효율적인 통신과 협업을 돕습니다 [1]. 이를 통해 레거시 데이터베이스 중심 설계에서 발생하는 지연 시간(latency)과 병목 현상을 줄여줍니다 [1].
|
||||
## 매 한 줄
|
||||
> **"매 distributed RAM 의 partitioned + replicated 의 통한 sub-ms key-value + compute 의 horizontal scale"**. 매 Oracle Coherence (2001) 의 commercial origin, 매 Hazelcast (2008) / Apache Ignite (2014) 의 OSS 의 popularization — 매 modern 의 Redis Cluster + Apache Ignite + Hazelcast 5.x 의 dominant.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
* **핵심 원리 및 작동 방식:** IMDG는 다수의 서버 RAM을 활용해 일시적인 데이터(transient data)를 처리하고 저장하는 가상화된 데이터 그리드입니다 [1]. 기존의 디스크 기반 저장소를 우회하여 데이터베이스 의존도를 낮추고 데이터베이스 호출을 줄임으로써 초저지연(ultra-fast access)을 보장합니다 [1, 2].
|
||||
* **공간 기반 아키텍처와의 관계:** 공간 기반 아키텍처에서 '공간(space)'이라는 용어 자체가 바로 이 가상화된 인메모리 데이터 그리드를 의미합니다 [1]. 서비스들은 이 공유 메모리 모델(Tuple-space architecture)을 통해 데이터를 추가, 삭제, 읽는 방식으로 서로 통신합니다 [3].
|
||||
* **주요 활용 사례:** 실시간 데이터 처리(주식 거래, 사기 탐지), 높은 동시성이 요구되는 시스템(전자상거래 세일, 경매 플랫폼), 계절적 트래픽 스파이크 등 워크로드가 가변적인 확장 가능 애플리케이션에 이상적입니다 [4, 5].
|
||||
* **확장성 및 내결함성:** 처리 유닛(PU, Processing Unit)을 추가하여 수평적으로 확장(Horizontal scaling)함으로써 선형에 가까운 확장성을 지원합니다 [2, 5]. 또한 노드(PU)에 장애가 발생하더라도 시스템이 중단되지 않고 다른 노드 간에 데이터를 복제하여 높은 내결함성(Fault tolerance)을 제공합니다 [2].
|
||||
## 매 핵심
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
* **데이터 불일치 문제:** 데이터 노드 간 복제 지연(Data replication delays)으로 인해 일시적인 데이터 불일치가 발생할 수 있으므로, 강력한 데이터 일관성(strong data consistency)이 필수적인 시스템에는 적합하지 않습니다 [2, 4].
|
||||
* **높은 전문성 요구:** Apache Ignite나 Hazelcast와 같은 분산 시스템 도구 및 기술에 대한 고도의 전문 지식이 필요합니다 [2].
|
||||
* **테스트 복잡성:** 고부하(high-load) 시나리오를 시뮬레이션하여 시스템을 테스트하는 과정이 매우 비싸고 시간이 많이 소요됩니다 [2].
|
||||
* **과잉 엔지니어링 위험:** 사용자 볼륨이 낮거나 단순한 CRUD 위주의 애플리케이션에 도입할 경우 불필요한 과잉 엔지니어링(overkill)이 될 수 있습니다 [4].
|
||||
### 매 IMDG vs Distributed Cache
|
||||
- **Cache (Redis, Memcached)**: 매 read-through, eviction-driven, simple K/V.
|
||||
- **IMDG (Hazelcast, Ignite, Coherence)**: + co-located compute, SQL, transactions, near-cache, entry processors, CP subsystem.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
### Related Concepts
|
||||
### 매 Core Capabilities
|
||||
- **Partitioning**: consistent hash, 매 271 partitions (Hazelcast default).
|
||||
- **Replication**: backup count (sync/async), 매 partition 의 N-1 backup.
|
||||
- **Near Cache**: client-side mirror, invalidation 의 push.
|
||||
- **Entry Processor**: 매 data-local computation (move code to data).
|
||||
- **Continuous Query**: predicate-based push.
|
||||
- **CP Subsystem**: Raft-based linearizable primitives (Hazelcast 4+).
|
||||
|
||||
#### [아키텍처 패턴 (Architectural Patterns)]
|
||||
- [[Space-Based Architecture]]
|
||||
- 연결 이유: IMDG는 Space-Based Architecture를 구성하는 핵심 컴포넌트(공간, space)로써 작동하기 때문입니다 [1].
|
||||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 중앙 집중식 데이터베이스의 병목현상을 해결하기 위해 시스템의 워크로드를 분산시키고 메모리를 공유하는 전체적인 아키텍처 전략을 이해할 수 있습니다 [1, 3].
|
||||
### 매 응용
|
||||
1. Session store / shopping cart (low-latency).
|
||||
2. Real-time risk / pricing (compute grid).
|
||||
3. Hybrid OLTP+stream (Ignite + Kafka).
|
||||
|
||||
#### [구현 도구 (Implementation Tools)]
|
||||
- [[Apache Ignite]] & [[Hazelcast]]
|
||||
- 연결 이유: 분산된 인메모리 데이터 그리드를 구축하고 관리하기 위해 요구되는 대표적인 전문 시스템 도구입니다 [2].
|
||||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 이론적인 메모리 그리드가 실제 분산 시스템 환경에서 어떻게 클러스터링되고 데이터를 복제 및 동기화하는지에 대한 구체적 기술 기반을 파악할 수 있습니다 [2].
|
||||
## 💻 패턴
|
||||
|
||||
#### [시스템 특성 (System Characteristics)]
|
||||
- [[Horizontal Scaling]]
|
||||
- 연결 이유: IMDG는 처리 유닛(PU)을 동적으로 추가하는 방식의 수평적 확장을 통해 대규모 동시성 시스템을 지원하기 때문입니다 [2, 5].
|
||||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 실시간 트래픽 폭증 시 아키텍처가 선형적으로 시스템 용량을 늘려 대응하는 메커니즘을 이해할 수 있습니다 [2].
|
||||
### Hazelcast 5 — Embedded + IMap
|
||||
```java
|
||||
HazelcastInstance hz = Hazelcast.newHazelcastInstance();
|
||||
IMap<String, Order> orders = hz.getMap("orders");
|
||||
orders.put("o-123", new Order(...));
|
||||
Order o = orders.get("o-123"); // sub-ms
|
||||
|
||||
### Deeper Research Questions
|
||||
|
||||
- IMDG 환경에서 노드 간 복제 지연으로 인한 일시적 데이터 불일치(Inconsistencies) 문제를 아키텍처 수준에서 어떻게 완화할 수 있는가?
|
||||
- 공간 기반 아키텍처의 IMDG가 이벤트 기반 아키텍처(Event-Driven Architecture)의 대용량 실시간 처리 파이프라인과 결합될 때 발생하는 시너지와 기술적 과제는 무엇인가?
|
||||
- 기존의 레거시 데이터베이스 중심 아키텍처를 IMDG 기반 시스템으로 마이그레이션할 때 데이터 마이그레이션 및 동기화 전략은 어떻게 수립해야 하는가?
|
||||
- Apache Ignite, Hazelcast와 같은 솔루션들이 장애 발생 시 다운타임 없이 데이터를 복제하고 시스템을 복구하는 정확한 내부 알고리즘은 무엇인가?
|
||||
- 고부하(High-load) 환경에서 IMDG를 적용한 시스템을 테스트하기 위한 비용 효율적이고 실용적인 시뮬레이션 방법론은 무엇인가?
|
||||
|
||||
### Practical Application Contexts
|
||||
|
||||
- **Implementation:** 애플리케이션의 지연 시간(latency)을 줄이기 위해 디스크 I/O 대신 다중 서버의 RAM을 활용하여 데이터를 분산 저장하는 로직을 구현합니다 [1].
|
||||
- **System Design:** 트래픽 스파이크가 예측되는 경매 플랫폼이나 전자상거래 플랫폼에서 데이터베이스 병목을 제거하기 위해 상태 저장과 처리를 결합한 분산 캐시/메모리 구조로 시스템을 설계합니다 [4, 5].
|
||||
- **Operation / Maintenance:** 분산된 노드 간 데이터가 어떻게 복제되는지 모니터링하며, 일부 프로세싱 유닛(PU) 실패 시에도 시스템이 다운되지 않도록 장애 조치(Failover)를 관리합니다 [2].
|
||||
- **Learning Path:** 전통적 데이터베이스 모델의 성능적 한계를 학습한 뒤, 이를 극복하기 위한 대안으로 분산 시스템, 인메모리 처리, Space-Based Architecture 순으로 학습을 확장합니다.
|
||||
- **My Project Relevance:** 높은 트래픽과 실시간 데이터 조회가 필요한 서비스를 기획/운영하고 있다면, 기존 DB 구조에서 벗어나 IMDG를 도입해 처리 속도와 확장성을 확보하는 전략을 검토할 수 있습니다.
|
||||
|
||||
### Adjacent Topics
|
||||
|
||||
- [[Distributed Systems]]
|
||||
- 확장 방향: IMDG는 여러 대의 서버 메모리를 하나처럼 사용하는 분산 시스템의 일종이므로, 분산 컴퓨팅의 합의 알고리즘, 장애 허용, 파티셔닝 전략 전반으로 지식을 확장할 수 있습니다.
|
||||
- [[Event-Driven Architecture]]
|
||||
- 확장 방향: 실시간 데이터 처리와 높은 동시성을 위해 IMDG와 Event-Driven 방식이 종종 결합되어 활용되므로, 두 아키텍처 패턴의 조합 방식 및 메시지/이벤트 처리 매커니즘으로 탐구를 넓힐 수 있습니다.
|
||||
|
||||
---
|
||||
*Last updated: 2026-05-02*
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
|
||||
```text
|
||||
# TODO
|
||||
// Pessimistic lock 의 partition-local
|
||||
orders.executeOnKey("o-123", entry -> {
|
||||
Order cur = entry.getValue();
|
||||
cur.markPaid();
|
||||
entry.setValue(cur);
|
||||
return null;
|
||||
});
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### Apache Ignite — SQL over Cache
|
||||
```java
|
||||
IgniteConfiguration cfg = new IgniteConfiguration();
|
||||
Ignite ignite = Ignition.start(cfg);
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
CacheConfiguration<Long, Person> ccfg = new CacheConfiguration<>("Person");
|
||||
ccfg.setIndexedTypes(Long.class, Person.class);
|
||||
IgniteCache<Long, Person> cache = ignite.getOrCreateCache(ccfg);
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
List<List<?>> rows = cache.query(new SqlFieldsQuery(
|
||||
"SELECT name, salary FROM Person WHERE salary > ? ORDER BY salary DESC")
|
||||
.setArgs(100_000)).getAll();
|
||||
```
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
### Hazelcast Near Cache
|
||||
```yaml
|
||||
hazelcast-client:
|
||||
near-cache:
|
||||
orders:
|
||||
in-memory-format: OBJECT
|
||||
invalidate-on-change: true
|
||||
time-to-live-seconds: 60
|
||||
max-size: 10000
|
||||
eviction-policy: LRU
|
||||
```
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
### Entry Processor (move compute to data)
|
||||
```java
|
||||
public class IncrementVersion implements EntryProcessor<String, Order, Long> {
|
||||
public Long process(Map.Entry<String, Order> e) {
|
||||
Order o = e.getValue();
|
||||
o.setVersion(o.getVersion() + 1);
|
||||
e.setValue(o);
|
||||
return o.getVersion();
|
||||
}
|
||||
}
|
||||
Long v = orders.executeOnKey("o-1", new IncrementVersion());
|
||||
```
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
### Continuous Query (Hazelcast)
|
||||
```java
|
||||
IMap<String, Order> orders = hz.getMap("orders");
|
||||
orders.addEntryListener((EntryAddedListener<String, Order>) ev -> {
|
||||
if (ev.getValue().getAmount() > 10_000) alert(ev.getValue());
|
||||
}, Predicates.greaterThan("amount", 10_000), true);
|
||||
```
|
||||
|
||||
### CP Subsystem — Linearizable Counter
|
||||
```java
|
||||
CPSubsystem cp = hz.getCPSubsystem();
|
||||
IAtomicLong seq = cp.getAtomicLong("order-seq");
|
||||
long next = seq.incrementAndGet(); // Raft-backed, linearizable
|
||||
```
|
||||
|
||||
### Kubernetes Deployment (Hazelcast Operator)
|
||||
```yaml
|
||||
apiVersion: hazelcast.com/v1alpha1
|
||||
kind: Hazelcast
|
||||
metadata: { name: hz }
|
||||
spec:
|
||||
clusterSize: 5
|
||||
repository: hazelcast/hazelcast
|
||||
version: "5.5"
|
||||
persistence:
|
||||
baseDir: /data/hot-restart
|
||||
pvc: { accessModes: [ReadWriteOnce], requestStorage: 50Gi }
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
| 상황 | Approach |
|
||||
|---|---|
|
||||
| Simple K/V cache | Redis / Memcached |
|
||||
| Java-heavy + SQL on cache | Apache Ignite |
|
||||
| Compute + cache + CP primitives | Hazelcast 5 |
|
||||
| Multi-language polyglot | Redis Cluster + redis-om |
|
||||
| Persistent in-memory DB | Ignite native persistence / Aerospike |
|
||||
|
||||
**기본값**: 매 Java/Kotlin stack — Hazelcast 5; 매 polyglot — Redis Cluster.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Distributed-Systems]] · [[Caching]]
|
||||
- 변형: [[Distributed-Cache]] · [[Compute-Grid]] · [[NewSQL]]
|
||||
- 응용: [[Hazelcast]] · [[Apache-Ignite]] · [[Redis-Cluster]] · [[Oracle-Coherence]]
|
||||
- Adjacent: [[CAP-Theorem]] · [[Consistent-Hashing]] · [[Raft-Consensus]] · [[Near-Cache]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: IMDG 의 sizing 의 estimate, partition strategy 의 review, Hazelcast/Ignite config 의 generate.
|
||||
**언제 X**: 매 production 의 capacity planning 의 final sign-off (real workload benchmark 필수).
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **Distributed monolith state**: 매 service 의 IMDG 의 shared mutable state — 매 hidden coupling.
|
||||
- **N+1 across grid**: client-side loop 의 단일 키 fetch — 매 batch API 의 use.
|
||||
- **No backup count**: backup=0 → 매 node loss 의 data loss.
|
||||
- **Serialization neglect**: default Java serialization → 매 slow + bloated, 매 IdentifiedDataSerializable / Compact 의 use.
|
||||
- **Treating IMDG as durable DB**: 매 persistence 의 explicit config 없이 → restart 의 data loss.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (Hazelcast 5.5 docs, Apache Ignite 2.16 docs, Oracle Coherence 14c docs).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — IMDG (Hazelcast/Ignite) 의 full content |
|
||||
|
||||
Reference in New Issue
Block a user