[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -1,127 +1,181 @@
|
||||
---
|
||||
id: wiki-2026-0508-publish-subscribe-model
|
||||
title: Publish Subscribe Model
|
||||
title: Publish-Subscribe Model
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [P-REINFORCE-WIKI-4268620D]
|
||||
aliases: [Pub-Sub, Pub/Sub, Topic-Based Messaging]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.95
|
||||
tags: [publish-subscribe-model, event-driven-architecture, event-streaming, competing-consumers-pattern, azure-event-grid, architecture-principles]
|
||||
verification_status: applied
|
||||
tags: [messaging, eda, distributed-systems, pattern]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-02
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
language: python
|
||||
framework: kafka-redis-nats
|
||||
---
|
||||
|
||||
# [[Publish-Subscribe Model]]
|
||||
# Publish-Subscribe Model
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
Publish-Subscribe(발행-구독) 모델은 이벤트 기반 아키텍처(Event-Driven Architecture)에서 주로 사용되는 비동기 통신 및 메시징 패턴이다 [1]. 이 모델에서는 이벤트를 생성하는 발행자(Producer)와 이를 수신하는 구독자(Consumer)가 서로 완전히 분리(Decoupling)되어 독립적으로 작동한다 [2]. 메시징 인프라가 구독 상태를 추적하며, 이벤트가 발행되면 등록된 모든 구독자에게 해당 이벤트가 브로드캐스트되어 전달되는 방식으로 동작한다 [1].
|
||||
## 매 한 줄
|
||||
> **"매 publisher 매 subscribers 매 모름 — 매 topic / channel 매 통해 매 decoupled broadcast"**. 1987 ISIS Toolkit 매 origin, 매 today Kafka / Redis Pub/Sub / NATS / Google Pub/Sub / AWS SNS 매 ubiquitous backbone.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
* **생산자와 소비자의 완전한 분리:** Publish-Subscribe 모델에서 생산자는 어떤 소비자가 이벤트를 수신하는지 알 필요가 없으며, 소비자들 역시 서로 분리된 상태로 존재한다 [2]. 이를 통해 시스템 요소 간의 결합도를 극도로 낮추어 독립적인 확장성을 보장할 수 있다 [3].
|
||||
* **구독 기반의 이벤트 브로드캐스팅:** 통신을 중개하는 메시징 인프라는 구독(Subscription) 현황을 추적하는 역할을 담당한다 [1]. 특정 이벤트가 발행되면, 시스템은 해당 이벤트를 구독하고 있는 모든 소비자에게 이벤트를 복제하여 전달하므로 모든 소비자는 동일한 이벤트를 각자 수신하게 된다 [1, 2].
|
||||
* **이벤트의 휘발성(일시성):** 이벤트 스트리밍(Event Streaming) 모델과 달리, Publish-Subscribe 환경에서 수신된 이벤트는 일반적으로 영구적인 로그(Durable log)에 저장되지 않는다 [1]. 이 특성으로 인해 새로운 구독자가 시스템에 추가되더라도 과거에 발행된 이벤트는 수신하거나 조회할 수 없다 [1].
|
||||
* **인프라 및 구현 기술:** 이 패턴은 주로 메시지 브로커나 클라우드 기반 이벤트 채널을 통해 구현된다 [4]. 마이크로소프트의 경우 Publish-Subscribe 시나리오를 위해 'Azure Event Grid'의 사용을 공식 권장하고 있으며 [1], Google Cloud Platform의 'Pub/Sub'이나 RabbitMQ, Kafka와 같은 기술도 널리 활용된다 [5, 6].
|
||||
## 매 핵심
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
* **과거 이벤트 조회 불가 (No Event History):** 이벤트가 영구 보관되지 않으므로, 이벤트를 나중에 재생(Replay)하거나 지연 합류한 소비자(Late-arriving consumers)가 과거 데이터를 처리해야 하는 복구 시나리오에는 부적합하다 [1]. 이러한 요구사항이 강력하다면 영구 로그를 유지하는 이벤트 스트리밍(Event Streaming) 모델을 고려해야 한다 [1].
|
||||
* **최종 일관성(Eventual Consistency) 문제:** 생산자와 소비자가 비동기 채널을 통해 분리되어 있기 때문에, 이벤트 발행 직후에는 시스템 전반의 데이터가 즉각적으로 일치하지 않는 최종 일관성 상태가 필연적으로 발생한다 [3]. 소비자는 각자의 속도에 맞춰 이벤트를 처리하므로, 시스템의 여러 부분이 일시적으로 다른 뷰(View)를 가질 수 있음을 아키텍처 설계 시 감안해야 한다 [3].
|
||||
* **분산 트랜잭션 관리와 에러 처리의 복잡성:** 단일 비즈니스 프로세스가 여러 서비스에 걸쳐 비동기적으로 처리되므로 에러 추적과 시스템 복구가 매우 까다롭다 [3]. 에러 발생 시 원래 상태로 논리적 복구를 수행하기 위해 보상 트랜잭션(Compensating Transaction)을 적용해야 하며 [3], 누락된 이벤트를 관리하기 위한 데드 레터 큐(Dead-Letter Queue, DLQ) 및 전담 에러 핸들러 처리가 요구된다 [3].
|
||||
* **스키마 진화(Schema Evolution) 충돌 리스크:** 생산자와 소비자가 독립적으로 배포되므로 이벤트 스키마(구조)가 변경될 때 새로운 스키마를 이해하지 못하는 기존 구독자 시스템에서 작동 장애가 발생할 수 있다 [7]. 아키텍처 초기부터 엄격한 스키마 버전 관리 전략을 수립해야 한다 [7].
|
||||
### 매 model variants
|
||||
- **Topic-based**: 매 logical channel name (e.g. `orders.created`).
|
||||
- **Content-based**: 매 message attributes 매 filter — 매 RabbitMQ headers exchange.
|
||||
- **Type-based**: 매 message class hierarchy.
|
||||
- **Hybrid**: 매 topic + filter (NATS subject wildcards `orders.*.created`).
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
### Related Concepts
|
||||
### 매 delivery semantics
|
||||
- **At-most-once**: fire-and-forget (Redis Pub/Sub).
|
||||
- **At-least-once**: ack required (Kafka, SQS).
|
||||
- **Exactly-once**: 매 idempotent + transactional (Kafka EOS, Pulsar).
|
||||
|
||||
#### [관계 유형 A (아키텍처/기반 기술)]
|
||||
- [[Event-Driven Architecture]]
|
||||
- 연결 이유: Publish-Subscribe 모델은 이벤트 기반 아키텍처(EDA) 통신을 구성하는 두 가지 주요 패러다임(Pub/Sub, Event Streaming) 중 하나이다 [1].
|
||||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 이벤트를 생성, 수집, 처리, 전달하는 전체적인 시스템의 비동기 데이터 흐름과 브로커(Broker)/메디에이터(Mediator) 토폴로지의 설계 원리 [4, 8].
|
||||
### 매 응용
|
||||
1. Event-driven microservices (orders → fulfillment, billing, notifications).
|
||||
2. Real-time dashboards (Grafana Live, websocket fanout).
|
||||
3. CDC (Debezium → Kafka → consumers).
|
||||
4. IoT telemetry (MQTT — pub-sub variant).
|
||||
|
||||
#### [관계 유형 A (비교 모델 및 대안적 설계)]
|
||||
- [[Event Streaming]]
|
||||
- 연결 이유: Publish-Subscribe 모델과 대비되는 패턴으로, 이벤트를 파티션 내에 엄격한 순서대로 영구 보관하는 특징을 지닌다 [1].
|
||||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 데이터 내구성(Durability), 이벤트 재생(Replayability) 등 시스템 요구사항에 따른 적절한 메시징 인프라의 선택 기준 [1].
|
||||
- [[Competing Consumers Pattern]]
|
||||
- 연결 이유: 모든 소비자가 동일한 이벤트를 각각 수신하는 Pub/Sub 모델과 달리, 여러 소비자가 하나의 큐에서 메시지를 가져와 에러가 없는 한 '단 한 번만' 분할 처리하도록 하는 패턴이다 [2].
|
||||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 메시지 처리의 중복 방지 및 작업 부하 분산(Load Distribution)을 달성하기 위한 구체적 설계 전략 [2].
|
||||
## 💻 패턴
|
||||
|
||||
#### [관계 유형 B (구현/활용 도구)]
|
||||
- [[Azure Event Grid]]
|
||||
- 연결 이유: 클라우드 환경에서 Publish-Subscribe 시나리오를 구축할 때 공식적으로 권장되는 대표적인 구현 서비스이다 [1].
|
||||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 퍼블릭 클라우드 환경에서 대규모 구독을 효율적으로 추적하고 이벤트를 동적으로 라우팅하는 실무적인 메커니즘 [1].
|
||||
### In-process pub-sub (Python)
|
||||
```python
|
||||
from collections import defaultdict
|
||||
from typing import Callable
|
||||
|
||||
### Deeper Research Questions
|
||||
- Publish-Subscribe 모델에서 이벤트가 영구 저장되지 않는 한계를 극복하기 위해 Event Streaming과 결합하는 하이브리드 아키텍처는 어떻게 구성할 수 있는가? [1]
|
||||
- 비동기 통신 환경에서 데이터 동기화 지연에 따른 최종 일관성(Eventual Consistency) 문제를 비즈니스 워크플로우 관점에서 어떻게 허용하거나 완화할 수 있는가? [3]
|
||||
- 대규모 Pub/Sub 아키텍처에서 메시지의 순서 보장(Processing events in order)이나 정확히 한 번 처리(Exactly-once semantics)가 필요한 경우 어떤 메커니즘을 도입해야 하는가? [3, 9]
|
||||
- 서로 다른 데이터베이스를 보유한 마이크로서비스 환경에서 Pub/Sub 모델을 사용할 때 사가(Saga) 패턴은 분산 트랜잭션을 어떻게 조율하는가? [3, 10]
|
||||
- 분산 시스템에서 발생하는 장애 추적을 위해 모든 이벤트에 상관관계 ID(Correlation ID)를 포함시키는 관측성(Observability) 확보 전략은 어떻게 구현되는가? [7]
|
||||
class Bus:
|
||||
def __init__(self):
|
||||
self.subs: dict[str, list[Callable]] = defaultdict(list)
|
||||
def subscribe(self, topic, fn): self.subs[topic].append(fn)
|
||||
def publish(self, topic, msg):
|
||||
for fn in self.subs[topic]:
|
||||
fn(msg)
|
||||
|
||||
### Practical Application Contexts
|
||||
- **Implementation:** Azure Event Grid, Google Cloud Pub/Sub, RabbitMQ, Kafka 등의 메시지 브로커 혹은 클라우드 서비스를 도입하여 생산자와 소비자 간의 비동기 통신 채널을 구현한다 [1, 5, 6].
|
||||
- **System Design:** 다수의 마이크로서비스나 하위 시스템이 동일한 단일 이벤트(예: 주문 발생, 회원 가입)에 각기 다른 목적(알림 전송, 로그 분석, 데이터베이스 갱신 등)으로 반응해야 할 때 시스템 간 결합도를 낮추기 위해 적용한다 [11].
|
||||
- **Operation / Maintenance:** 비동기 환경에서 실패하는 메시지를 처리하기 위해 전담 에러 핸들러와 Dead-Letter Queue (DLQ)를 구축 및 모니터링하여 유실되는 데이터가 없도록 운영 프로세스를 수립한다 [3].
|
||||
- **Learning Path:** 이벤트 기반 아키텍처(EDA) 기본 개념 이해 → 주요 메시징 패턴 비교(Pub/Sub vs Competing Consumers) → 마이크로서비스 간 비동기 통신 및 분산 트랜잭션 오케스트레이션 학습 [1-3].
|
||||
- **My Project Relevance:** 루트 주제인 '아키텍처 패턴 지식'을 실무에 적용할 때, 확장성과 시스템 탄력성이 극히 중요한 분산 애플리케이션 및 마이크로서비스 생태계의 통신 기반을 설계하는 핵심 패턴으로 활용할 수 있다 [3, 11].
|
||||
|
||||
### Adjacent Topics
|
||||
- [[Microservices Architecture]]
|
||||
- 확장 방향: 마이크로서비스 구조에서 각 독립된 서비스가 자신만의 데이터베이스를 유지하면서도, 결합도를 높이지 않고 시스템 전체의 상태를 동기화하기 위해 비동기 메시지 패싱(Pub/Sub)을 어떻게 활용하는지 심화 학습할 수 있다 [10, 12].
|
||||
|
||||
---
|
||||
*Last updated: 2026-05-02*
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
|
||||
```text
|
||||
# TODO
|
||||
bus = Bus()
|
||||
bus.subscribe("user.created", lambda u: print(f"welcome {u}"))
|
||||
bus.publish("user.created", "alice")
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### Redis Pub/Sub
|
||||
```python
|
||||
import redis, json
|
||||
r = redis.Redis()
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
# Publisher
|
||||
r.publish("orders.created", json.dumps({"id": 42, "total": 99}))
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
# Subscriber
|
||||
ps = r.pubsub()
|
||||
ps.subscribe("orders.*")
|
||||
for msg in ps.listen():
|
||||
if msg["type"] == "pmessage":
|
||||
handle(json.loads(msg["data"]))
|
||||
```
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
### Kafka producer/consumer (Python)
|
||||
```python
|
||||
from confluent_kafka import Producer, Consumer
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
p = Producer({"bootstrap.servers": "localhost:9092"})
|
||||
p.produce("orders", key="42", value=b'{"total":99}')
|
||||
p.flush()
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
c = Consumer({
|
||||
"bootstrap.servers": "localhost:9092",
|
||||
"group.id": "fulfillment",
|
||||
"auto.offset.reset": "earliest",
|
||||
})
|
||||
c.subscribe(["orders"])
|
||||
while True:
|
||||
msg = c.poll(1.0)
|
||||
if msg and not msg.error():
|
||||
process(msg.value())
|
||||
c.commit(msg)
|
||||
```
|
||||
|
||||
### NATS with subject wildcards
|
||||
```python
|
||||
import nats, asyncio
|
||||
|
||||
async def main():
|
||||
nc = await nats.connect("nats://localhost:4222")
|
||||
async def cb(msg): print(msg.subject, msg.data)
|
||||
await nc.subscribe("orders.*.created", cb=cb)
|
||||
await nc.publish("orders.US.created", b'{"id":42}')
|
||||
await asyncio.sleep(1)
|
||||
|
||||
asyncio.run(main())
|
||||
```
|
||||
|
||||
### Google Cloud Pub/Sub
|
||||
```python
|
||||
from google.cloud import pubsub_v1
|
||||
|
||||
publisher = pubsub_v1.PublisherClient()
|
||||
topic = publisher.topic_path("proj", "orders")
|
||||
publisher.publish(topic, b'{"id":42}', region="us-east1")
|
||||
|
||||
sub = pubsub_v1.SubscriberClient()
|
||||
sub_path = sub.subscription_path("proj", "fulfillment-sub")
|
||||
def cb(msg): handle(msg.data); msg.ack()
|
||||
sub.subscribe(sub_path, callback=cb).result()
|
||||
```
|
||||
|
||||
### AsyncAPI schema (governance, 2026)
|
||||
```yaml
|
||||
asyncapi: 3.0.0
|
||||
channels:
|
||||
ordersCreated:
|
||||
address: orders.created
|
||||
messages:
|
||||
OrderCreated:
|
||||
payload:
|
||||
type: object
|
||||
properties:
|
||||
id: {type: integer}
|
||||
total: {type: number}
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
| 상황 | Approach |
|
||||
|---|---|
|
||||
| 매 in-process | Bus / EventEmitter |
|
||||
| 매 ephemeral, low-latency | Redis Pub/Sub / NATS |
|
||||
| 매 durable, replay 필요 | Kafka / Pulsar |
|
||||
| 매 cloud-native, managed | Google Pub/Sub / AWS SNS+SQS |
|
||||
| 매 IoT / mobile | MQTT |
|
||||
| 매 fan-in-out, transform | Kafka Streams / Pulsar Functions |
|
||||
|
||||
**기본값**: 매 production EDA — Kafka. 매 simple/ephemeral — NATS.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Event Driven Architecture]] · [[Messaging Patterns]]
|
||||
- 변형: [[Observer Pattern]] · [[Message Queue]] · [[Event Bus]]
|
||||
- 응용: [[Event Sourcing]] · [[CQRS]] · [[CDC]]
|
||||
- Adjacent: [[Kafka]] · [[NATS]] · [[Redis]] · [[MQTT]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 schema design (AsyncAPI generation), 매 consumer code scaffolding, 매 dead-letter analysis.
|
||||
**언제 X**: 매 broker selection 매 trust 의 X — workload metrics 직접 측정.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **Sync pub-sub**: 매 publisher block on slow subscriber — 매 async / queue 사용.
|
||||
- **No schema**: 매 consumer breakage — Avro/Protobuf + registry 필수.
|
||||
- **Topic explosion**: 매 user-per-topic — 매 millions of topics, broker 죽음. 매 partition / filter 사용.
|
||||
- **Duplicate semantics**: 매 at-least-once 인데 매 idempotency 없음 — duplicate processing.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (Eugster et al. — "The Many Faces of Publish/Subscribe" 2003; Kafka docs).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — full pub-sub pattern entry |
|
||||
|
||||
Reference in New Issue
Block a user