# [[Stable Diffusion|Stable Diffusion]] ## ๐Ÿ“Œ Brief ์‹œ Summary ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „(Stable Diffusion)์€ Stability AI๊ฐ€ ๊ฐœ๋ฐœํ•œ ๋Œ€ํ‘œ์ ์ธ ์˜คํ”ˆ์†Œ์Šค ํ™•์‚ฐ(Diffusion) ๊ธฐ๋ฐ˜ ํ…์ŠคํŠธ-์ด๋ฏธ์ง€ ์ƒ์„ฑ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค[1]. ์‚ฌ์šฉ์ž๊ฐ€ ์ง์ ‘ ๋ชจ๋ธ์„ ํ˜ธ์ŠคํŒ…ํ•˜๊ณ  ํŠน์ • ๋„๋ฉ”์ธ์— ๋งž๊ฒŒ ๋ฏธ์„ธ ์กฐ์ •(Fine-tuning)์„ ํ•  ์ˆ˜ ์žˆ์–ด ์™„๋ฒฝํ•œ ์ œ์–ด ๊ถŒํ•œ์„ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์ด ํŠน์ง•์ž…๋‹ˆ๋‹ค[2, 3]. ํ”„๋กฌํ”„ํŠธ ์ž‘์„ฑ ์‹œ ์ž์—ฐ์–ด ๋ฌธ์žฅ๋ณด๋‹ค๋Š” ์‰ผํ‘œ๋กœ ๊ตฌ๋ถ„๋œ ํƒœ๊ทธ(Tags)์™€ ๊ฐ€์ค‘์น˜ ๋ฌธ๋ฒ•์„ ์‚ฌ์šฉํ•˜๋ฉฐ, ๋ถ€์ • ํ”„๋กฌํ”„ํŠธ(Negative Prompt)๋ฅผ ํ†ตํ•ด ์ƒ์„ฑ ๊ฒฐ๊ณผ๋ฅผ ํ”ฝ์…€ ๋‹จ์œ„๊นŒ์ง€ ๋งค์šฐ ์ •๊ตํ•˜๊ฒŒ ํ†ต์ œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค[4-6]. ## ๐Ÿ“– Core Content * **์ž‘๋™ ๋ฉ”์ปค๋‹ˆ์ฆ˜ (Diffusion Process)** ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „์€ ๋ฐ์ดํ„ฐ์— ์ ์ง„์ ์œผ๋กœ ๊ฐ€์šฐ์‹œ์•ˆ ๋…ธ์ด์ฆˆ๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ์ˆœ๋ฐฉํ–ฅ ํ™•์‚ฐ(Forward Diffusion) ๊ณผ์ •์„ ํ•™์Šตํ•œ ๋’ค, ๋ฌด์ž‘์œ„ ๋…ธ์ด์ฆˆ ์ƒํƒœ์—์„œ ์ด๋ฅผ ๋ฐ˜๋ณต์ ์œผ๋กœ ์ œ๊ฑฐ(Denoising)ํ•˜๋ฉฐ ์›๋ณธ ๋ฐ์ดํ„ฐ์™€ ์ผ์น˜ํ•˜๋Š” ์ผ๊ด€๋œ ์‹œ๊ฐ์  ๊ฒฐ๊ณผ๋ฌผ์„ ์žฌ๊ตฌ์„ฑํ•˜๋Š” ์—ญ๋ฐฉํ–ฅ ํ™•์‚ฐ(Reverse Diffusion) ๋ฐฉ์‹์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค[7, 8]. ์‚ฌ์šฉ์ž๊ฐ€ ์ž…๋ ฅํ•œ ํ”„๋กฌํ”„ํŠธ ํ…์ŠคํŠธ๋Š” ํ† ํฌ๋‚˜์ด์ €(Tokenizer)๋ฅผ ํ†ตํ•ด ์ธ๊ณต์ง€๋Šฅ์ด ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ์ˆ˜์น˜์  ํ† ํฐ(Tokens)์œผ๋กœ ๋ถ„ํ• ๋˜์–ด ์ด๋ฏธ์ง€ ์ƒ์„ฑ ๊ณผ์ •์„ ์œ ๋„ํ•ฉ๋‹ˆ๋‹ค[9]. * **ํ”„๋กฌํ”„ํŠธ ๊ตฌ์กฐ ๋ฐ ๋ฌธ๋ฒ• (Syntax)** ์™„์ „ํ•œ ํ˜•ํƒœ์˜ ๋ฌธ์žฅ์„ ์„ ํ˜ธํ•˜๋Š” ๋‹ค๋ฅธ ๋ชจ๋ธ๋“ค๊ณผ ๋‹ฌ๋ฆฌ, ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „์€ ์‰ผํ‘œ๋กœ ๊ตฌ๋ถ„๋œ ํƒœ๊ทธ(Tags) ํ˜•์‹์„ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ๊ฐ€์žฅ ํšจ๊ณผ์ ์ž…๋‹ˆ๋‹ค[4]. ๊ฐ€์žฅ ์ค‘์š”ํ•œ ์‹œ๊ฐ์  ์š”์†Œ์ผ์ˆ˜๋ก ํ”„๋กฌํ”„ํŠธ์˜ ๋งจ ์•ž์— ๋ฐฐ์น˜ํ•ด์•ผ ํ•˜๋ฉฐ, ๊ด„ํ˜ธ๋ฅผ ์‚ฌ์šฉํ•ด ํŠน์ • ๋‹จ์–ด์˜ ๊ฐ€์ค‘์น˜(Weights)๋ฅผ ์กฐ์ ˆํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค[4, 6]. * ์˜ˆ๋ฅผ ๋“ค์–ด `(word:1.5)`์™€ ๊ฐ™์ด ์ž…๋ ฅํ•˜๋ฉด ํ•ด๋‹น ๋‹จ์–ด์˜ ์ค‘์š”๋„๋ฅผ 1.5๋ฐฐ๋กœ ๊ฐ•ํ™”ํ•˜๊ณ , ๋ฐ˜๋Œ€๋กœ `[word]` ๋˜๋Š” `(word:0.9)`๋กœ ์ž…๋ ฅํ•˜๋ฉด ๊ทธ ๋น„์ค‘์„ ์•ฝํ™”์‹œํ‚ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค[6, 10, 11]. * `+`๋‚˜ `-` ๊ธฐํ˜ธ๋ฅผ ์ด์šฉํ•ด `(word)+++` ํ˜•ํƒœ๋กœ ๊ฐ€์ค‘์น˜๋ฅผ ๋ˆ„์  ์ ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค[12, 13]. * **๋ถ€์ • ํ”„๋กฌํ”„ํŠธ (Negative Prompt)** ๋ถ€์ • ํ”„๋กฌํ”„ํŠธ๋Š” ์ด๋ฏธ์ง€์— ๋‚˜ํƒ€๋‚˜์ง€ ๋ง์•„์•ผ ํ•  ์š”์†Œ(์˜ˆ: deformed hands, extra fingers, watermark, blurry ๋“ฑ)๋ฅผ ๋ช…์‹œํ•˜์—ฌ ํ™•์‚ฐ ๊ณผ์ •์ด ์ž˜๋ชป๋œ ๋ฐฉํ–ฅ์œผ๋กœ ํ๋ฅด๋Š” ๊ฒƒ์„ ์ฐจ๋‹จํ•˜๋Š” ํ•ต์‹ฌ ํ†ต์ œ ์‹œ์Šคํ…œ์ž…๋‹ˆ๋‹ค[5, 6, 14]. * ์ด๋Š” ๋‹จ์ˆœํžˆ ์ด๋ฏธ์ง€๋ฅผ ๋‹ค๋“ฌ๋Š” ๊ฒƒ์„ ๋„˜์–ด ๋ถˆํ•„์š”ํ•œ ๋ฐ˜๋ณต ์ƒ์„ฑ(Reroll)์„ ์ค„์ด๊ณ  ์›ํ•˜๋Š” ๊ฒฐ๊ณผ๋ฌผ์— ๋„๋‹ฌํ•˜๋Š” ๋ฐ ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค[15, 16]. * ๋ชจํ˜ธํ•˜๊ฒŒ "bad"๋ผ๊ณ  ์ ๋Š” ๊ฒƒ๋ณด๋‹ค "extra fingers", "watermark"์ฒ˜๋Ÿผ ๊ตฌ์ฒด์ ์ธ ๊ฒฐํ•จ์„ ์ง€์ ํ•  ๋•Œ ์ •ํ™•๋„๊ฐ€ ํ›จ์”ฌ ๋†’์•„์ง‘๋‹ˆ๋‹ค[17, 18]. * CFG ์ฒ™๋„(CFG Scale)์™€ ๊ฒฐํ•ฉํ•˜์—ฌ ๋ชจ๋ธ์ด ํ”„๋กฌํ”„ํŠธ์™€ ๋ถ€์ • ํ”„๋กฌํ”„ํŠธ์˜ ์กฐ๊ฑด(Conditioning)์„ ์–ผ๋งˆ๋‚˜ ๊ฐ•ํ•˜๊ฒŒ ๋”ฐ๋ฅผ์ง€ ์กฐ์ ˆํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค[19, 20]. * **๋ฒ„์ „๋ณ„ ํŠน์„ฑ๊ณผ ๊ณ ๊ธ‰ ์ œ์–ด** SD 1.5, SDXL, Flux ๋“ฑ ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „์˜ ์„ธ๋ถ€ ๋ชจ๋ธ๋งˆ๋‹ค ๋ถ€์ • ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ˆ˜์šฉํ•˜๋Š” ์„ฑํ–ฅ์ด ๋‹ค๋ฆ…๋‹ˆ๋‹ค[21]. SD 1.5๋Š” ๊ธด ํ˜•ํƒœ์˜ ๋ถ€์ • ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ž˜ ์ˆ˜์šฉํ•˜์ง€๋งŒ, SDXL์ด๋‚˜ ์ตœ์‹  ๋ชจ๋ธ์€ ๋„ˆ๋ฌด ๊ธธ๊ณ  ํฌ๊ด„์ ์ธ ๋ถ€์ • ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ž…๋ ฅํ•˜๋ฉด ์˜คํžˆ๋ ค ์ด๋ฏธ์ง€์˜ ๋””ํ…Œ์ผ์ด๋‚˜ ๊ตฌ๋„๋ฅผ ๋ง์น  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ๋ฌธ์ œ์ ๋งŒ ์งš์–ด๋‚ธ ๊ฐ„๊ฒฐํ•œ ๋ชฉ๋ก์„ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ๊ถŒ์žฅ๋ฉ๋‹ˆ๋‹ค[21, 22]. ๋˜ํ•œ ๊ณ ๊ธ‰ ๊ธฐ์ˆ ์ธ ์ปจํŠธ๋กค๋„ท(ControlNet)์„ ๊ฒฐํ•ฉํ•˜๋ฉด ํ…์ŠคํŠธ ํ”„๋กฌํ”„ํŠธ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ํ”ผ์‚ฌ์ฒด์˜ ๋ผˆ๋Œ€(Pose)๋‚˜ ์œค๊ณฝ์„ (Canny Edge) ์ •๋ณด๋ฅผ ๋ชจ๋ธ์— ๊ฐ•์ œ๋กœ ์ฃผ์ž…ํ•˜์—ฌ ํ”ผ์‚ฌ์ฒด์˜ ๋ฐฐ์น˜์™€ ์ž์„ธ๋ฅผ ํ”ฝ์…€ ๋‹จ์œ„๋กœ ์™„๋ฒฝํ•˜๊ฒŒ ํ†ต์ œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค[6]. ## ๐Ÿ”— Knowledge Connections - **Related Topics:** [[Diffusion Models|Diffusion Models]], [[Prompt Weights|Prompt Weights]], [[Negative Prompt|Negative Prompt]], [[CFG Scale|CFG Scale]], [[ControlNet|ControlNet]] - **Projects/Contexts:** [[แ„‹แ…ฉแ„‘แ…ณแ†ซแ„‰แ…ฉแ„‰แ…ณ แ„€แ…ตแ„‡แ…กแ†ซ แ„†แ…กแ†ฝแ„Žแ…ฎแ†ทแ„’แ…งแ†ผ แ„‹แ…ตแ„†แ…ตแ„Œแ…ต แ„‰แ…ขแ†ผแ„‰แ…ฅแ†ผ แ„‹แ…ฏแ„แ…ณแ„‘แ…ณแ†ฏแ„…แ…ฉแ„‹แ…ฎ แ„€แ…ฎแ„Žแ…ฎแ†จ|์˜คํ”ˆ์†Œ์Šค ๊ธฐ๋ฐ˜ ๋งž์ถคํ˜• ์ด๋ฏธ์ง€ ์ƒ์„ฑ ์›Œํฌํ”Œ๋กœ์šฐ ๊ตฌ์ถ•]], [[แ„‡แ…ฎแ„Œแ…ฅแ†ผ แ„‘แ…ณแ„…แ…ฉแ†ทแ„‘แ…ณแ„แ…ณแ„‹แ…ช แ„€แ…กแ„Œแ…ฎแ†ผแ„Žแ…ตแ„…แ…ณแ†ฏ แ„’แ…ชแ†ฏแ„‹แ…ญแ†ผแ„’แ…กแ†ซ แ„‰แ…ตแ„€แ…กแ†จแ„Œแ…ฅแ†จ แ„‹แ…กแ„แ…ตแ„‘แ…ขแ†จแ„แ…ณ(Artifact) แ„ƒแ…ตแ„‡แ…ฅแ„€แ…ตแ†ผ แ„†แ…ตแ†พ แ„Œแ…ฆแ„‹แ…ฅ|๋ถ€์ • ํ”„๋กฌํ”„ํŠธ์™€ ๊ฐ€์ค‘์น˜๋ฅผ ํ™œ์šฉํ•œ ์‹œ๊ฐ์  ์•„ํ‹ฐํŒฉํŠธ(Artifact) ๋””๋ฒ„๊น… ๋ฐ ์ œ์–ด]] - **Contradictions/Notes:** ์ž์—ฐ์–ด ๊ธฐ๋ฐ˜์˜ ์ƒ์„ธํ•œ ๋ฌธ์žฅ ๋ฌ˜์‚ฌ๋ฅผ ์„ ํ˜ธํ•˜๋Š” DALL-E 3์™€ ๋‹ฌ๋ฆฌ, ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „์€ ์‰ผํ‘œ๋กœ ๋ถ„๋ฆฌ๋œ ํƒœ๊ทธ์™€ ๊ฐ€์ค‘์น˜ ๋ฌธ๋ฒ•์„ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ๋” ๋†’์€ ํ’ˆ์งˆ์„ ๋ณด์žฅํ•ฉ๋‹ˆ๋‹ค[4, 23]. ๋˜ํ•œ, ๋ฌด์กฐ๊ฑด ๊ธธ๊ณ  ์ผ๋ฐ˜์ ์ธ ๋ถ€์ • ํ”„๋กฌํ”„ํŠธ ๋ณต์‚ฌ-๋ถ™์—ฌ๋„ฃ๊ธฐ๋ฅผ ๋ฐ˜๋ณตํ•˜๋Š” ๊ฒƒ์€ ์ตœ์‹  ๋ชจ๋ธ(SDXL, Flux ๋“ฑ)์—์„œ ์˜คํžˆ๋ ค ๋ถ€์ž‘์šฉ์„ ๋‚ณ์„ ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ์‹œ๊ฐ์ ์œผ๋กœ ๋‚˜ํƒ€๋‚œ ๊ตฌ์ฒด์ ์ธ ๊ฒฐํ•จ๋งŒ ํƒ€๊ฒŸํŒ…ํ•˜์—ฌ ๋ฐฐ์ œํ•˜๋Š” ๊ฒƒ์ด ํšจ๊ณผ์ ์ž…๋‹ˆ๋‹ค[18, 22, 24]. --- *Last updated: 2026-04-30*