9148c358d0
Topic_Agent/Topic_Blog/Topics/Topics_Biz/Topics_Meeting/Topics_Rag의 마크다운 지식 문서를 Topic_General/Topic_Programming/Topic_Graphic/Topic_Business 4개 카테고리로 재분류. - 중복 제거: frontmatter의 status:duplicate/merged + duplicate_of/redirect_to 필드로 자기 자신을 중복으로 선언한 리다이렉트 stub 1032개 제거, 완전 동일 내용 파일 472개 제거, 동일 파일명·다른 내용 충돌 시 더 큰(완전한) 버전만 유지(162개 제거) — 총 1639개 중복 제거. - 분류: 폴더 단위로 명확한 항목(AI_and_ML/Coding/Architecture 등 → Programming, Comfyui/Visual_Effects → Graphic, Topics_Biz/Topics_Meeting/사업 등 → Business, Poetic_Blog_Writing/창의성/Game_Design 등 → General)은 폴더 우선순위로, 나머지 혼재 폴더(Topic_Agent/Topic_Blog/Topics 루트/Thinking & Reasoning/Other/UI_UX_Assets)는 title/tags 키워드 스코어링으로 파일 단위 분류(불명확한 경우 General로 폴백). 원본 폴더명은 "From_*" 서브폴더로 보존해 추적 가능성 유지. - 최종 배치: Programming 2784 / General 1608 / Graphic 285 / Business 249 = 4926개 문서. - 에이전트 운영 상태(.astra/.agent/.obsidian/sessions/memory/_company/docs/lessons/_shared/src)는 지식 콘텐츠가 아니므로 재분류 대상에서 제외하고 원위치 유지. - Topics/Topic_email(상위 보호 폴더 Topic_email과 파일명 100% 중복) 삭제 — 보호 폴더 자체는 미변경. - 완전히 비게 된 Topic_Agent/Topic_Blog/Topics_Biz/Topics_Rag 폴더 제거.
40 lines
2.1 KiB
Markdown
40 lines
2.1 KiB
Markdown
# [[Robust-GitHub-Sync-Pipeline]]
|
|
|
|
## 📌 Brief Summary
|
|
GitHub API를 이용한 지식 문서 자동 기록 파이프라인으로, 다양한 URL 형식 파싱과 지능형 오류 처리가 핵심입니다. 특히 저장소 404와 파일 404를 구분하여 신규 파일 작성을 매끄럽게 수행합니다.
|
|
|
|
## 📖 Core Content
|
|
1. **URL Normalization**: `https://github.com/owner/repo` 및 `owner/repo` 등 다양한 입력을 표준화된 API 엔드포인트로 변환합니다.
|
|
2. **Defensive API Interaction**:
|
|
- 저장소 존재 여부를 먼저 확인하여 설정 오류를 조기에 차단합니다.
|
|
- 파일 존재 확인 시 발생하는 404는 '정상적인 신규 생성 가능성'으로 처리하여 콘솔 노이즈와 별개로 로직이 중단되지 않게 합니다.
|
|
3. **Binary-Safe Encoding**: 한글이 포함된 마크다운 문서를 GitHub API에 전달하기 위해 UTF-8 바이트 시퀀스를 베이스64로 인코딩하여 데이터 손상을 방지합니다.
|
|
|
|
## 🔗 Knowledge Connections
|
|
- **Related Topics:** [[Zustand-Based-Mission-Persistence]], [[Ontology-Driven-Relevancy-Filtering]]
|
|
- **Projects/Contexts:** [[Knowledge-Base-Automation]]
|
|
- **Contradictions/Notes:** 브라우저 콘솔의 404 로그는 fetch API의 특성이며, 로직 레벨에서는 정상 데이터로 처리됩니다.
|
|
|
|
|
|
## ✅ 검증 상태 및 신뢰도
|
|
- **상태:** draft
|
|
- **검증 단계:** conceptual
|
|
- **출처 신뢰도:** A (자체 시스템 및 개발 기록 기반)
|
|
- **중복 검사 결과:** 신규 생성
|
|
|
|
## 🔗 관련 문서 링크 (Related document links)
|
|
|
|
### 상위/유사 개념
|
|
- [[Datacollect Architecture]]
|
|
- 연결 이유: 프로젝트의 핵심 아키텍처 및 시스템 기반.
|
|
|
|
### 구현/활용 도구
|
|
- [[P-Reinforce Engine]]
|
|
- 연결 이유: 워크플로우 자동화 및 데이터 수집 엔진.
|
|
|
|
### 실무 적용 맥락 (Practical Application Contexts)
|
|
- **Operation / Maintenance:** Datacollect 파이프라인의 안정성 및 동기화 유지보수.
|
|
|
|
## 📝 변경 이력 (Change history)
|
|
- 2026-05-19: Initial draft generated via Datacollector P-Reinforce automation.
|