--- id: SYS-MQ-STREAM-001 category: "10_Wiki/πŸ’‘ Topics/AI" confidence_score: 1.0 tags: [infrastructure, message-queues, kafka, event-streaming, distributed-systems, scalability] last_reinforced: 2026-04-26 --- # Message Queues and Event Streams (λ©”μ‹œμ§€ 큐와 이벀트 슀트림) ## πŸ“Œ ν•œ 쀄 톡찰 (The Karpathy Summary) > "μ‹œμŠ€ν…œ μ‚¬μ΄μ˜ λŒ€ν™”λ₯Ό '비동기적 흐름'으둜 μ „ν™˜ν•˜μ—¬, μ„œλ‘œλ₯Ό 기닀리지 μ•Šκ³ λ„ κ±°λŒ€ν•œ μ§€λŠ₯의 ν•˜λͺ¨λ‹ˆλ₯Ό μ™„μ„±ν•˜λΌ" β€” 데이터λ₯Ό μƒμ„±ν•˜λŠ” μͺ½(Producer)κ³Ό μ†ŒλΉ„ν•˜λŠ” μͺ½(Consumer)을 뢄리(Decoupling)ν•˜μ—¬ μ‹œμŠ€ν…œμ˜ μœ μ—°μ„±κ³Ό ν™•μž₯μ„±, 내결함성을 κ·ΉλŒ€ν™”ν•˜λŠ” 톡신 인프라. ## πŸ“– κ΅¬μ‘°ν™”λœ 지식 (Synthesized Content) - **μΆ”μΆœλœ νŒ¨ν„΄:** "Asynchronous Buffer and Pub/Sub" β€” μš”μ²­μ΄ λͺ°λ¦΄ λ•Œ μž„μ‹œλ‘œ 데이터λ₯Ό λ‹΄μ•„λ‘λŠ” 버퍼 μ—­ν• κ³Ό, ν•˜λ‚˜μ˜ 데이터λ₯Ό μ—¬λŸ¬ κ³³μ—μ„œ λ™μ‹œμ— ꡬ독할 수 있게 ν•˜λŠ” λ°œν–‰/ꡬ독 νŒ¨ν„΄μ„ 톡해 λΆ„μ‚° μ‹œμŠ€ν…œμ˜ λΆ€ν•˜λ₯Ό μ‘°μ ˆν•˜λŠ” νŒ¨ν„΄. - **핡심 기술:** - **Message Queues (RabbitMQ, SQS):** λ©”μ‹œμ§€λ₯Ό 전달받아 μ†ŒλΉ„μžκ°€ μ²˜λ¦¬ν•  λ•ŒκΉŒμ§€ μ•ˆμ „ν•˜κ²Œ 보관. 1:1 전달 쀑심. - **Event Streams (Kafka, Kinesis):** λ°μ΄ν„°μ˜ 흐름 자체λ₯Ό κΈ°λ‘ν•˜κ³  λ³΄μ‘΄ν•˜μ—¬ μ‹€μ‹œκ°„ 뢄석 및 μž¬μƒ(Replay) κ°€λŠ₯. κ³ μ„±λŠ₯ 둜그 처리 쀑심. - **의의:** λ§ˆμ΄ν¬λ‘œμ„œλΉ„μŠ€ μ•„ν‚€ν…μ²˜(MSA)μ—μ„œ μ„œλΉ„μŠ€ κ°„μ˜ μ˜μ‘΄μ„±μ„ 쀄이고, 데이터가 ν­μ¦ν•˜λŠ” μƒν™©μ—μ„œλ„ μ‹œμŠ€ν…œ 전체가 λ§ˆλΉ„λ˜μ§€ μ•Šλ„λ‘ λ³΄ν˜Έν•˜λŠ” μ™„μΆ©μž¬. ## ⚠️ λͺ¨μˆœ 및 μ—…λ°μ΄νŠΈ (Contradictions & RL Update) - **κ³Όκ±° λ°μ΄ν„°μ™€μ˜ 좩돌:** λ‹¨μˆœν•œ '데이터 μ „λ‹¬μž' μˆ˜μ€€μ—μ„œ λ²—μ–΄λ‚˜, μ΄μ œλŠ” Flinkλ‚˜ Spark Streamingκ³Ό κ²°ν•©ν•˜μ—¬ 슀트림 λ‚΄μ—μ„œ μ¦‰μ„μœΌλ‘œ 데이터λ₯Ό μ²˜λ¦¬ν•˜λŠ” '슀트림 처리 μ—”μ§„'으둜 역할이 ν™•μž₯됨. - **μ •μ±… λ³€ν™”:** Antigravity ν”„λ‘œμ νŠΈλŠ” μ—μ΄μ „νŠΈμ˜ 사고 λ‘œκ·Έμ™€ 원격 데이터 μˆ˜μ§‘ μŠ€νŠΈλ¦Όμ„ Kafka 기반의 이벀트 슀트림으둜 κ΄€λ¦¬ν•˜μ—¬, μ‹€μ‹œκ°„ λͺ¨λ‹ˆν„°λ§κ³Ό 사후 뢄석을 λ™μ‹œμ— μˆ˜ν–‰ν•¨. ## πŸ”— 지식 μ—°κ²° (Graph) - [[Microservices-Architecture|Microservices-Architecture]], [[High-Availability-Systems|High-Availability-Systems]], System-Design-for-AI-Scale, Real-time-Data-Processing - **Raw Source:** 10_Wiki/Topics/AI/Message-Queues-and-Event-Streams.md