koriweb
95cd8bb891
- 코드 그라운딩: 기술 주제 문서의 '적용 사례'에 실제 레포 구현 위치
(file:line)+커밋 자동 주입 (예: 문서 청킹 전략→connectai/src/retrieval/chunker.ts).
멱등 마커(CODE-GROUNDING)로 재실행 시 갱신.
- MOC: 39개 클러스터 폴더에 _MOC.md 학습지도 생성(진입점+통찰 주석).
도구: Datacollect/scripts/{code_grounding,moc_generator}.mjs
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
82 lines
7.4 KiB
Markdown
82 lines
7.4 KiB
Markdown
---
|
|
id: devops
|
|
title: "DevOps"
|
|
category: "Architecture"
|
|
status: "draft"
|
|
verification_status: "conceptual"
|
|
canonical_id: ""
|
|
aliases: ["데브옵스", "Development and Operations", "SW 운영 체계", "CI/CD", "인프라 자동화", "협업 개발 방법론", "Agile & DevOps"]
|
|
duplicate_of: ""
|
|
source_trust_level: "A"
|
|
confidence_score: 0.88
|
|
created_at: 2026-06-08
|
|
updated_at: 2026-06-08
|
|
review_reason: ""
|
|
merge_history: []
|
|
tags: ["research", "RAG 아키텍처 및 파이프라인 기초", "Infrastructure", "Automation", "Version Control"]
|
|
raw_sources: ["RAG 솔루션 디자인 및 개발 - Azure Architecture Center - Microsoft Learn", "RAG Architecture: 4 Key Components & Example Implementation - Cloudian", "[Tech Series] kt cloud AI 검색 증강 생성(RAG) #2 : 데이터 파싱과 전처리 최적화", "RAG 기반 AI 서비스의 신뢰성을 확보하는 방법: 자동화 평가 체계 및 운영 최적화"]
|
|
applied_in: ["Git-LFS & DVC integration in kt cloud pipelines", "Apache Airflow DAG orchestration", "Unified deployment bundling for embeddings, indexes, and prompts"]
|
|
github_commit: ""
|
|
---
|
|
|
|
# [[DevOps]]
|
|
|
|
## 🎯 한 줄 통찰 (One-line insight)
|
|
DevOps는 소프트웨어 개발(Dev)과 운영(Ops)의 경계를 허물고 **Git 버전 제어 및 애자일(Agile) 메서드**를 통해 시스템의 **연속적인 통합, 배포, 그리고 관리**를 자동화하는 협업 체계이다 [S256, S265].
|
|
|
|
## 🧠 핵심 개념 (Core concepts)
|
|
- **버전 제어 (Version Control):** Git 등을 활용해 코드와 설정 파일의 변경 이력을 관리하며, 분업과 협업의 기반을 마련한다 [S256, S265].
|
|
- **워크플로우 오케스트레이션 (Orchestration):** 복잡한 작업 단계를 자동화된 흐름으로 정의하여 일관된 실행을 보장한다 [S338, S389].
|
|
- **인프라 및 배포 자동화:** 수동 개입을 최소화하고 빌드와 릴리스 과정을 번들화하여 배포 효율성을 높인다 [S125, S171].
|
|
- **지속적 모니터링 및 관찰성 (Observability):** 시스템 실행 로그와 지표를 실시간으로 수집하여 장애를 조기 감지하고 대응한다 [S336, S387].
|
|
|
|
## 🧩 추출된 패턴 (Extracted patterns)
|
|
- **Bundled Deployment Pattern:** 독립적으로 변하는 임베딩 모델, 인덱스 스냅샷, 프롬프트 템플릿을 하나의 빌드 단위로 묶어 관리함으로써 환경 간 불일치를 방지하고 롤백 능력을 확보한다 [S125, S171].
|
|
- **DAG-based Automation Pattern:** Airflow 등의 도구를 사용하여 데이터 수집부터 최종 적재까지의 다단계 프로세스를 유향 비순환 그래프(DAG)로 정의하고 멱등성을 보장하며 자동 재시도를 수행한다 [S339, S390].
|
|
- **Agile Integration Pattern:** 요구사항 변화에 유연하게 대응하기 위해 짧은 주기의 반복 개발과 피드백 반영을 DevOps 파이프라인에 통합한다 [S256, S265].
|
|
|
|
## 📖 세부 내용 (Details)
|
|
|
|
### 1. DevOps의 정의와 범위 [S256, S265]
|
|
DevOps는 현대적 소프트웨어 개발의 핵심 사례로서, **Git 버전 제어**와 **애자일(Agile) 방법론**을 결합하여 개발 주기를 단축하고 고품질 서비스 제공을 목표로 한다. 이는 단순히 도구의 도입이 아닌 조직의 문화와 프로세스 혁신을 포함하며, 시스템의 안정성을 유지하면서도 신속한 기능 업데이트를 가능하게 한다.
|
|
|
|
### 2. RAG 파이프라인에서의 DevOps적 실천 [S125, S326, S339]
|
|
RAG와 같은 AI 시스템에서 전통적인 DevOps 기법은 다음과 같이 구체화되어 적용된다.
|
|
- **데이터 및 코드의 버전 관리:** 대용량 파일은 **Git-LFS**를 통해, 데이터셋과 모델 버전은 **DVC(Data Version Control)**를 통해 관리함으로써 실험의 재현성을 확보한다 [S326, S377].
|
|
- **통합 배포 워크플로우:** 새로운 기능 배포 시 임베딩 공간과 인덱스 구조가 프롬프트와 일치하도록 전체 서빙 스택을 버전 태깅하여 함께 배포한다 [S125, S171].
|
|
- **자동화된 오케스트레이션:** 문서 크롤링, 파싱, 임베딩 생성, 벡터 DB 적재로 이어지는 복잡한 인덱싱 파이프라인을 **Apache Airflow** 등으로 자동화하여 인적 오류를 차단한다 [S339, S390].
|
|
|
|
### 3. 모니터링 및 관찰성 체계 [S336, S387]
|
|
운영 단계(Ops)에서는 시스템의 건강성을 실시간으로 확인하는 것이 중요하다. 중앙 집중형 로그 관리와 실시간 모니터링 대시보드를 구축하여 처리 지연이나 메모리 사용량 급증 등 파이프라인 병목 지점을 시각화하고, 장애 발생 시 즉시 알림을 전달하는 체계를 갖춘다.
|
|
|
|
## ⚖️ 모순 및 업데이트 (Contradictions & updates)
|
|
- **DevOps에서 LLMOps로의 진화:** 전통적인 DevOps가 코드의 안정적 배포에 집중했다면, RAG 환경에서는 언어 모델의 확률적 특성과 검색 품질을 관리하기 위한 데이터 기반의 **LLMOps**가 상위 운영 체계로 대두되고 있다 [S217, S226].
|
|
- **자동화의 역설:** 파이프라인을 고도로 자동화할수록 시스템 복잡도가 증가하여 장애 발생 시 근본 원인 추적이 어려워질 수 있으므로, 구조화된 로깅과 메타데이터 관리의 중요성이 더욱 강조된다 [S336, S387].
|
|
|
|
## 🛠️ 적용 사례 (Applied in summary)
|
|
- **kt cloud 파이프라인:** **DVC와 Git-LFS**를 연동하여 대규모 문서의 변경 이력과 임베딩 생성 과정을 추적 관리하는 DevOps 기반 인프라를 구축하였다 [S326, S377].
|
|
- **자동화 도구 연동:** 금융기관 등에서 **Apache Airflow**를 활용해 매일 최신 FAQ 데이터를 파싱하고 벡터 DB에 반영하는 안정적인 인덱싱 파이프라인을 운영하고 있다 [S340, S391].
|
|
- **통합 버전 관리:** Cloudian의 아키텍처 가이드에 따라 임베딩, 인덱스, 프롬프트를 하나의 릴리스 단위로 묶어 관리하는 버전 관리 전략이 실제 시스템 설계에 적용되었다 [S125, S171].
|
|
|
|
## ✅ 검증 상태 및 신뢰도
|
|
- **상태:** draft
|
|
- **검증 단계:** conceptual (실제 운영 도구 및 클라우드 벤더의 설계 가이드에 기반함)
|
|
- **출처 신뢰도:** A (Microsoft, kt cloud, Cloudian 등 기술 인프라 전문 조직의 검증된 자료)
|
|
- **신뢰 점수:** 0.88
|
|
- **중복 검사 결과:** 신규 생성 (New discovery)
|
|
|
|
## 🔗 지식 그래프 (Knowledge Graph)
|
|
- **상위/루트:** [[RAG 아키텍처 및 파이프라인 기초]]
|
|
- **관련 개념:** [[LLMOps]], [[MLOps]], [[데이터 버전 관리]], [[데이터 인덱싱 및 오케스트레이션]]
|
|
- **참조 맥락:** 고신뢰도 AI 서비스의 안정적인 배포 및 지속 가능한 운영 인프라 구축 시 필수 참조.
|
|
|
|
## 📚 출처 (Sources)
|
|
- [S125] RAG 아키텍처: 임베딩, 인덱스, 프롬프트 통합 버전 관리 필요성 (Cloudian)
|
|
- [S217] AI 시스템을 개발 대상이 아닌 운영 대상으로 전환하는 관점 (교보DTS)
|
|
- [S256] Microsoft Learn: DevOps 사례, Git 버전 제어 및 Agile 메서드 정의 (Microsoft)
|
|
- [S326] DVC 및 Git-LFS를 활용한 대규모 데이터 버전 관리 기법 (kt cloud)
|
|
- [S336] 파이프라인의 관찰성 확보 및 중앙 집중형 로그 관리 (kt cloud)
|
|
- [S339] Apache Airflow 기반의 워크플로우 자동화 및 DAG 관리 (kt cloud)
|
|
|
|
## 📝 변경 이력 (Change history)
|
|
- 2026-06-08: Initial draft generated via Datacollector_MAC P-Reinforce engine. |