9148c358d0
Topic_Agent/Topic_Blog/Topics/Topics_Biz/Topics_Meeting/Topics_Rag의 마크다운 지식 문서를 Topic_General/Topic_Programming/Topic_Graphic/Topic_Business 4개 카테고리로 재분류. - 중복 제거: frontmatter의 status:duplicate/merged + duplicate_of/redirect_to 필드로 자기 자신을 중복으로 선언한 리다이렉트 stub 1032개 제거, 완전 동일 내용 파일 472개 제거, 동일 파일명·다른 내용 충돌 시 더 큰(완전한) 버전만 유지(162개 제거) — 총 1639개 중복 제거. - 분류: 폴더 단위로 명확한 항목(AI_and_ML/Coding/Architecture 등 → Programming, Comfyui/Visual_Effects → Graphic, Topics_Biz/Topics_Meeting/사업 등 → Business, Poetic_Blog_Writing/창의성/Game_Design 등 → General)은 폴더 우선순위로, 나머지 혼재 폴더(Topic_Agent/Topic_Blog/Topics 루트/Thinking & Reasoning/Other/UI_UX_Assets)는 title/tags 키워드 스코어링으로 파일 단위 분류(불명확한 경우 General로 폴백). 원본 폴더명은 "From_*" 서브폴더로 보존해 추적 가능성 유지. - 최종 배치: Programming 2784 / General 1608 / Graphic 285 / Business 249 = 4926개 문서. - 에이전트 운영 상태(.astra/.agent/.obsidian/sessions/memory/_company/docs/lessons/_shared/src)는 지식 콘텐츠가 아니므로 재분류 대상에서 제외하고 원위치 유지. - Topics/Topic_email(상위 보호 폴더 Topic_email과 파일명 100% 중복) 삭제 — 보호 폴더 자체는 미변경. - 완전히 비게 된 Topic_Agent/Topic_Blog/Topics_Biz/Topics_Rag 폴더 제거.
3.8 KiB
3.8 KiB
id, title, category, status, source_trust_level, verification_status, created_at, updated_at, tags, tech_stack, applied_in, aliases
| id | title | category | status | source_trust_level | verification_status | created_at | updated_at | tags | tech_stack | applied_in | aliases | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| db-n-plus-one | N+1 쿼리 문제 — 감지와 해결 | Coding | draft | B | conceptual | 2026-05-09 | 2026-05-09 |
|
|
|
N+1 쿼리 문제
1번 쿼리로 N건 가져오고, 각 건마다 추가 쿼리 N번 = N+1. ORM 의 lazy loading 디폴트가 주범. 감지(쿼리 로깅) → JOIN / IN / DataLoader 3가지 해결책.
📖 핵심 개념
N+1 발생 패턴:
const users = await db.users.findMany(); // 1 query → N rows
for (const user of users) {
user.orders = await db.orders.findMany({ where: { userId: user.id } }); // N queries
}
// 총 N+1 queries
해결:
- JOIN (Prisma
include, TypeORMleftJoinAndSelect) - IN list (
WHERE userId IN (...)한 번에) - DataLoader (request-scoped batch + cache)
💻 코드 패턴
1. Prisma include
const users = await prisma.user.findMany({
include: { orders: true }, // JOIN 또는 별도 IN — Prisma 자동
});
// 2 queries 총
2. 직접 batch (raw SQL or query builder)
const users = await db.users.findMany({ where: { active: true } });
const userIds = users.map(u => u.id);
const orders = await db.orders.findMany({ where: { userId: { in: userIds } } });
// 그룹화
const ordersByUser = new Map<string, Order[]>();
for (const o of orders) {
if (!ordersByUser.has(o.userId)) ordersByUser.set(o.userId, []);
ordersByUser.get(o.userId)!.push(o);
}
const result = users.map(u => ({ ...u, orders: ordersByUser.get(u.id) ?? [] }));
3. DataLoader — GraphQL / 복잡 그래프
import DataLoader from 'dataloader';
const orderLoader = new DataLoader(async (userIds: readonly string[]) => {
const orders = await db.orders.findMany({ where: { userId: { in: [...userIds] } } });
const map = groupBy(orders, o => o.userId);
return userIds.map(id => map.get(id) ?? []);
});
// 어디서나
const myOrders = await orderLoader.load(user.id);
// 같은 tick 의 모든 .load 호출이 한 batch 로 합쳐짐
GraphQL resolver 안에서 매 user.orders 가 호출되어도 1 query 로 통합.
4. 감지 — 쿼리 카운트
// dev 미들웨어 — 한 요청 당 쿼리 수 로깅
let count = 0;
prisma.$on('query', () => count++);
app.use((req, res, next) => {
count = 0;
res.on('finish', () => {
if (count > 20) log.warn('high query count', { url: req.url, count });
});
next();
});
🤔 의사결정 기준
| 상황 | 해결 |
|---|---|
| 단순 1:N (User → Orders) | include / IN batch |
| 깊은 그래프 (User → Posts → Comments → Author) | DataLoader |
| GraphQL | DataLoader 거의 필수 |
| 매우 큰 IN (>10k items) | window / chunk 또는 join |
| read replica 활용 | batched read |
❌ 안티패턴
- for loop 안에서 await db.findOne: 정확히 N+1 패턴.
- Promise.all([...users.map(u => fetchOrders(u.id))]): 동시 N 쿼리. 빠르지만 DB 부하.
- JOIN 으로 모두 해결 시도: Cartesian product. User 1 + Orders 100 + Items 1000 = 100,000 행 반환.
- Prisma include 무한 nested: 응답 크기 폭발. 필요한 것만.
- DataLoader 인스턴스 공유: cache 가 영구 → stale. request-scoped (req 마다 새로).
- DataLoader 가 빈 결과를 undefined: 항상 input 길이와 같은 array 반환. null 또는 빈 array.
- 쿼리 로그 미설정: 발견조차 못 함. dev 항상 on.
🤖 LLM 활용 힌트
- "loop 안 await db query 금지. include / IN / DataLoader 중 선택" 강제.
- GraphQL = DataLoader request-scoped 패턴.