---
id: pattern-caching
title: "Caching Pattern"
category: "Pattern_CrossCutting"
status: "draft"
verification_status: "applied"
canonical_id: ""
aliases: ["caching", "캐싱", "memoization", "TTL", "invalidation", "mtime cache"]
duplicate_of: ""
source_trust_level: "A"
confidence_score: 0.88
created_at: 2026-06-13
updated_at: 2026-06-13
review_reason: ""
merge_history: []
tags: ["pattern", "cross-cutting", "caching", "performance", "platform-independent"]
raw_sources: ["일반 소프트웨어 공학 지식", "ConnectAI/src/retrieval/scoring.ts, src/lib/mtimeFileCache.ts (적용 예)"]
applied_in: ["ConnectAI"]
github_commit: ""
---

# [[Caching Pattern]]

## 🎯 한 줄 통찰 (One-line insight)
캐싱은 "비싼 계산/조회 결과를 저장해 재사용" 하는 보편 최적화이며, 어려운 것은 캐싱 자체가 아니라 "**언제 무효화(invalidation)하느냐**" 다 — stale 데이터는 성능보다 더 큰 버그를 만든다.

## 🧠 핵심 개념 (Core concepts)
1. **memoization:** 같은 입력→같은 출력을 키로 저장.
2. **무효화 전략:** TTL(시간), 버전/해시, 변경 감지(mtime), 수동.
3. **캐시 키 설계:** 입력을 정확히 식별(누락 시 잘못된 hit).
4. **용량 제한:** LRU/상한으로 무한 증가 방지.
5. **계층:** 메모리→디스크→원격, 가까울수록 빠름.

## 📖 세부 내용 (Details · 패턴 명세)
- **Problem (언제 쓰나):** 동일 계산/조회가 반복되고 비용이 클 때, 결과가 자주 안 바뀔 때.
- **사용 조건:** 결정적 입력→출력; 무효화 신호 존재; 메모리/디스크 여유.
- **장점:** 지연·비용 대폭↓, 부하 완화.
- **단점:** stale 위험, 메모리 사용, 무효화 복잡, 캐시 키 버그.
- **대안:** 매번 계산(정확성 우선), 사전 계산(배치), 증분 갱신.
- **실패 사례:** 무효화 누락으로 옛 데이터 제공; 키 충돌로 잘못된 hit; 무한 증가 OOM; 변경 감지 누락(mtime 미갱신).

## 💻 코드 패턴 (Code patterns)
```text
# memoization + 용량 제한
if cache.has(key): return cache.get(key)
val = expensive(input); if cache.size >= LIMIT: cache.clear(); cache.set(key, val)

# 변경 감지 무효화 (파일)
if file.mtime != cached.mtime: cached = reindex(file)   # 변경된 파일만 재계산
```
적용 예: ConnectAI 의 TOKEN_CACHE(토크나이저 memoization, 상한 시 clear) + mtime 키 brain 인덱스(변경 없는 파일 재토큰화 회피) [S2]. RAG 의 dense/sparse 인덱스도 캐시.

## ⚖️ 모순 및 업데이트 (Contradictions & updates)
"캐시하면 빠르다" 의 이면은 "무효화를 틀리면 조용히 틀린 답" — Phil Karlton 의 "캐시 무효화는 컴퓨터 과학의 2대 난제". 변경 감지(mtime/해시)가 TTL 보다 정확할 때가 많다.

## 🛠️ 적용 사례 (Applied in summary)
ConnectAI 토큰 캐시 + mtime 인덱스([[TF-IDF 이중언어 스코어링]], [[RAG 검색 파이프라인]]).

## 🔗 지식 그래프 (Knowledge Graph)
- **상위/루트:** [[패턴 카탈로그 인덱스]]
- **관련 개념:** [[Local Storage Pattern]], [[API Client Pattern]], [[RAG Pattern]], [[소프트웨어 실패 라이브러리]]
- **참조 맥락:** 작은 모델이 성능 최적화를 할 때 무효화 전략과 함께 참조.

## 📚 출처 (Sources)
- [S1] 일반 캐싱 공학 지식
- [S2] ConnectAI/src/retrieval/scoring.ts(TOKEN_CACHE), brainIndex/mtimeFileCache — 적용 예

## 📝 변경 이력 (Change history)
- 2026-06-13: 프로젝트 독립 패턴 카드 작성.