koriweb
a3f63e56e2
- 10_Wiki/Comfyui/: ComfyUI docs generated via /wikify - 00_Raw/_youtube/: /youtube extraction outputs - Move some 00_Raw originals into 10_Wiki/Topics_meeting; remove empty canvases and stray files Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
71 lines
6.1 KiB
Markdown
71 lines
6.1 KiB
Markdown
---
|
|
id: comfygpt
|
|
title: "ComfyGPT"
|
|
category: "10_Wiki/Topics"
|
|
status: "draft"
|
|
verification_status: "conceptual"
|
|
canonical_id: ""
|
|
aliases: ["ComfyUI-WorkflowGenerator"]
|
|
duplicate_of: ""
|
|
source_trust_level: "B"
|
|
confidence_score: 0.85
|
|
created_at: 2026-05-20
|
|
updated_at: 2026-05-20
|
|
review_reason: ""
|
|
merge_history: []
|
|
tags: ["research", "Comfyui workflow json 생성 방법"]
|
|
raw_sources: ["NotebookLM Synthesis"]
|
|
applied_in: ["ComfyUI-WorkflowGenerator", "Workflow Generator Pipeline node", "UpdateNodeCatalog", "ComfyUI/models/LLM/"]
|
|
github_commit: "82df278"
|
|
---
|
|
|
|
# [[ComfyGPT]]
|
|
|
|
## 🎯 한 줄 통찰 (One-line insight)
|
|
자연어 설명을 다단계 LLM 에이전트 파이프라인을 통해 실행 가능한 ComfyUI 노드 그래프(JSON)로 자동 변환하는 자기 최적화 시스템 [1, 2].
|
|
|
|
## 🧠 핵심 개념 (Core concepts)
|
|
- **3단계 생성 파이프라인 (Three-stage Pipeline):** 사용자의 의도를 논리적 합성(Generator), 의미론적 검증(Validator), 그래프 컴파일(Builder) 과정으로 분리하여 처리하는 아키텍처 [2, 3].
|
|
- **의미론적 노드 매핑 (Semantic Node Mapping):** 훈련 데이터에 없는 최신 커스텀 노드를 인식하기 위해 로컬 설치된 노드 레지스트리 및 의미론적 임베딩을 활용하여 노드 이름을 수정하는 메커니즘 [2, 4].
|
|
- **특화 LLM 통합 (Specialized LLM Integration):** ComfyUI의 내부 노드 레지스트리 및 스키마 사양에 맞춰 미세 조정(Fine-tuned)된 모델(Qwen2.5-14B 등)을 핵심 엔진으로 사용 [4, 5].
|
|
- **노드 카탈로그 자동화 (Node Cataloging):** 로컬 환경의 기본 노드 및 커스텀 노드를 스캔하여 LLM이 참조할 수 있는 데이터베이스를 구축하는 프로세스 [6, 7].
|
|
|
|
## 🧩 추출된 패턴 (Extracted patterns)
|
|
- **논리-물리 분리 패턴:** 자연어 의도를 먼저 논리적인 그래프 구조로 합성한 뒤, 실제 로컬 환경의 가용 노드와 대조하여 실행 가능한 물리적 JSON으로 변환하는 '중계 컴파일' 패턴 [2, 8].
|
|
- **검증 기반 보정 패턴:** LLM이 생성한 노드 이름이 실제 환경과 다를 경우, 의미론적 유사도 검색을 통해 유효한 노드 이름으로 교정하는 가디언(Guardian) 패턴 [9, 10].
|
|
- **계층적 에이전트 협업:** 단일 노드가 아닌 Generator, Validator, Builder라는 독립적인 역할을 가진 에이전트들이 순차적으로 결과를 전달하며 최종 워크플로우를 완성하는 다단계 협업 구조 [2, 9].
|
|
|
|
## 📖 세부 내용 (Details)
|
|
ComfyGPT는 "ComfyGPT: A Self-Optimizing Multi-Agent System for Comprehensive ComfyUI Workflow Generation" 연구를 기반으로 하며, 사용자의 자연어 지시(예: "SDXL을 사용한 텍스트-투-이미지 워크플로우 생성")와 실제 실행 가능한 노드 그래프 사이의 간극을 좁히는 것을 목적으로 한다 [1, 2].
|
|
|
|
**1. 주요 파이프라인 단계 [2, 3, 8]:**
|
|
- **생성기 (Generator):** 사용자의 자연어 프롬프트를 해석하여 논리적 그래프 구조(JSON)를 생성한다. Qwen2.5-14B와 같이 워크플로우 데이터에 특화된 모델이 사용된다.
|
|
- **검증기 (NodeValidator):** 생성된 노드 이름이 로컬 ComfyUI 환경에 설치된 노드와 일치하는지 확인한다. 불일치 시 의미론적 검색(MiniLM 모델 활용) 또는 LLM 정제 모드를 통해 이름을 교정한다.
|
|
- **빌더 (WorkflowBuilder):** 검증된 논리 구조를 ComfyUI 실행 엔진이 즉시 인식할 수 있는 최종 API 형식 또는 프론트엔드 형식의 JSON 파일로 컴파일한다.
|
|
|
|
**2. 활용 모델 아키텍처 [4, 11]:**
|
|
- **WorkflowGenerator:** Qwen2.5-14B 기반 미세 조정 모델로, 128K 컨텍스트 윈도우를 지원하며 GGUF 형식으로 양자화되어 효율적인 추론이 가능하다.
|
|
- **Embedding Model:** `sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2`를 사용하여 노드 간의 의미론적 유사도를 계산한다.
|
|
- **NodeValidator:** Qwen2.5-7B-Instruct 모델을 사용하여 추가적인 LLM 정제를 수행할 수 있다.
|
|
|
|
**3. 로컬 환경 동기화:**
|
|
시스템의 신뢰도를 높이기 위해 `UpdateNodeCatalog` 노드를 통해 현재 설치된 모든 커스텀 노드를 스캔하고 카탈로그화해야 한다. 이는 LLM이 훈련 컷오프 이후에 출시된 새로운 노드를 인식하지 못하는 한계를 보완한다 [6, 7].
|
|
|
|
## ⚖️ 모순 및 업데이트 (Contradictions & updates)
|
|
- **정적 모델의 한계:** 미세 조정된 모델은 훈련 시점 이후에 출시된 노드에 대해 환각(Hallucination)을 일으킬 수 있다. 소스에서는 이를 해결하기 위해 향후 RAG(검색 증강 생성) 아키텍처로의 전환이 필요함을 시사한다 [12, 13].
|
|
- **I/O 타입 인식 부재:** 현재 시스템은 노드 이름의 의미론적 일치에는 강점이 있으나, 노드 간 데이터 타입(Float, Latent, Image 등)의 엄격한 스키마 호환성을 검증하는 기능은 아직 미래 과제로 남아있다 [13].
|
|
|
|
## 🛠️ 적용 사례 (Applied in summary)
|
|
- **ComfyUI-WorkflowGenerator:** DanielPFlorian이 개발한 GitHub 저장소(`DanielPFlorian/ComfyUI-WorkflowGenerator`)에 ComfyGPT 아키텍처가 네이티브 노드 세트로 구현되어 있다 [1, 14].
|
|
- **Workflow Generator Pipeline 노드:** Generator, Validator, Builder 단계를 단일 실행으로 통합한 원클릭 솔루션 노드로 구현되었다 [3, 6].
|
|
- **모델 경로 규격:** GGUF 모델 및 토크나이저를 `ComfyUI/models/LLM/` 경로에 배치하여 관리하는 방식이 적용되었다 [6].
|
|
- **GitHub 커밋:** 커밋 해시 `82df278`에서 드롭다운 모델 중복 수정 등의 유지보수 기록이 발견된다 [14].
|
|
|
|
## ✅ 검증 상태 및 신뢰도
|
|
- **상태:** draft
|
|
- **검증 단계:** conceptual (ComfyUI-WorkflowGenerator 프로젝트를 통해 실제 노드 형태로 구현됨)
|
|
- **출처 신뢰도:** B (GitHub 기술 문서 및 연구 기반 구현체 소스 코드 설명)
|
|
- **중복 검사 결과:** 신규 생성 (New discovery)
|
|
|
|
## 📝 변경 이력 (Change history)
|
|
- 2026-05-20: Initial draft generated via Datacollector_MAC P-Reinforce engine. |