# [[๋งฅ๋ฝ ํ†ตํ•ฉ]] ## ๐Ÿ“Œ Brief Summary ๋งฅ๋ฝ ํ†ตํ•ฉ(Context Integration)์€ ๋‹จ์ˆœํ•œ ์ •๋ณด ์ˆ˜์ง‘์„ ๋„˜์–ด, ์‚ฐ์žฌ๋œ ๋ฐ์ดํ„ฐ ํฌ์ธํŠธ๋“ค ์‚ฌ์ด์˜ ์˜๋ฏธ๋ก ์  ์—ฐ๊ฒฐ๋ง์„ ๊ตฌ์ถ•ํ•˜๊ณ  ์ƒํ™ฉ์— ์ ํ•ฉํ•œ ์ตœ์ ์˜ ํŒ๋‹จ์„ ๋„์ถœํ•˜๋Š” ํ•ต์‹ฌ์ ์ธ ์ธ์ง€์ ยท๊ณ„์‚ฐ์  ๊ธฐ์ œ์ด๋‹ค [1]. ์ด๋Š” ์ธ๊ฐ„์˜ ์ง€๊ฐ, ๊ธฐ์–ต, ๋Œ€ํ™”์—์„œ์˜ ํ™”์šฉ๋ก ์  ์˜๋ฏธ ํŒŒ์•… ๋“ฑ ๊ณ ์ฐจ์›์  ์ธ์ง€ ์ž‘์šฉ์˜ ๊ทผ๊ฐ„์ด ๋˜๋ฉฐ, ์‹ ๊ฒฝ์ƒ๋ฌผํ•™์ ์œผ๋กœ๋Š” ๋‡Œ์˜ ์ „์—ญ์  ์‹ ๊ฒฝ ์›Œํฌ์ŠคํŽ˜์ด์Šค(GNW) ๋‚ด ์œ„์ƒ ๋™๊ธฐํ™” ๋ฐ ์ •๋ณด ๋ฐฉ์†ก์„ ํ†ตํ•ด ์ด๋ฃจ์–ด์ง„๋‹ค [2-4]. ์ตœ๊ทผ ์ธ๊ณต์ง€๋Šฅ(AI) ๋ถ„์•ผ์—์„œ๋Š” ์–ดํ…์…˜(Attention) ๋ฉ”์ปค๋‹ˆ์ฆ˜๊ณผ ์ƒํƒœ ๊ณต๊ฐ„ ๋ชจ๋ธ(SSM) ๋“ฑ์„ ํ†ตํ•ด ๊ธฐ๊ณ„๊ฐ€ ๊ธด ๋งฅ๋ฝ์„ ์œ ์ง€ํ•˜๊ณ  ํ†ตํ•ฉํ•˜๋Š” ๊ธฐ์ˆ ์  ํ˜์‹ ์œผ๋กœ ์ด์–ด์ง€๊ณ  ์žˆ๋‹ค [5, 6]. ## ๐Ÿ“– Core Content * **์ธ์ง€์  ์ •๋ณด ์ฒ˜๋ฆฌ์™€ ๊ธฐ์–ต ๋ฉ”์ปค๋‹ˆ์ฆ˜** ํ˜„๋Œ€ ์ธ์ง€ ์‹ ๊ฒฝ๊ณผํ•™์—์„œ ๋งฅ๋ฝ์€ ์ •๋ณด ์ฒ˜๋ฆฌ์˜ ๋ถ€์ˆ˜์  ์š”์†Œ๊ฐ€ ์•„๋‹ˆ๋ผ, ์ž…๋ ฅ ์ž๊ทน์˜ ์ฒ˜๋ฆฌ ๋ฐฉ์‹์„ ์งˆ์ ์œผ๋กœ ๋ณ€ํ™”์‹œํ‚ค๋Š” ํ•˜ํ–ฅ์‹(Top-down) ์—ฐ์‚ฐ์˜ ๋ณธ์งˆ์  ํ•ต์‹ฌ์ด๋‹ค [1, 7]. ๋ถ€ํ˜ธํ™” ํŠน์ˆ˜์„ฑ ์›๋ฆฌ์— ๋”ฐ๋ฅด๋ฉด, ๊ธฐ์–ต ์‹œ์Šคํ…œ์€ ์ •๋ณด๋ฅผ ๊ณ ๋ฆฝ๋œ ์ƒํƒœ๋กœ ์ €์žฅํ•˜์ง€ ์•Š๊ณ  ๊ทธ๊ฒƒ์ด ๋ฐœ์ƒํ•œ '์ƒํƒœ(๋งฅ๋ฝ)'์™€ ํ•จ๊ป˜ ๊ธฐ์–ตํ•˜๋Š” ๋งฅ๋ฝ ์˜์กด์„ฑ์„ ๋ค๋‹ค [8]. ํŠนํžˆ, ๋ฐฉ๋ฌธ ๋นˆ๋„๊ฐ€ ๋‚ฎ์€ ์ƒ์†Œํ•œ ์žฅ์†Œ์˜ ๊ฒฝ์šฐ ํ•ด๋‹น ๋งฅ๋ฝ์— ๋จธ๋ฌด๋Š” ์‹œ๊ฐ„์ด ๊ธธ์–ด์งˆ์ˆ˜๋ก ๋งฅ๋ฝ ์˜์กด์  ๊ธฐ์–ต ํšจ๊ณผ๊ฐ€ ์œ ์˜๋ฏธํ•˜๊ฒŒ ๊ฐ•ํ™”๋œ๋‹ค [8]. ๋˜ํ•œ, ๊ณผ๊ฑฐ ๊ฒฝํ—˜์„ ๋ฐ”ํƒ•์œผ๋กœ ๊ตฌ์ถ•๋œ ์ง€์‹ ๊ตฌ์กฐ์ธ ์Šคํ‚ค๋งˆ(Schema)๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์ƒˆ๋กœ์šด ์ •๋ณด๋ฅผ ๋น ๋ฅด๊ฒŒ ๋ถ„๋ฅ˜ํ•˜๊ณ  ์˜ˆ์ธกํ•จ์œผ๋กœ์จ ์ธ์ง€์  ํšจ์œจ์„ฑ์„ ๊ทน๋Œ€ํ™”ํ•œ๋‹ค [9]. * **์–ธ์–ด์  ๋งฅ๋ฝ๊ณผ ํ™”์šฉ๋ก (Pragmatics) ๋ฉ”์ปค๋‹ˆ์ฆ˜** ์–ธ์–ดํ•™์—์„œ ๋งฅ๋ฝ ํ†ตํ•ฉ์€ ๋ฌธ์ž ๊ทธ๋Œ€๋กœ์˜ ์˜๋ฏธ๋ฅผ ์ƒํ™ฉ์— ์ ํ•ฉํ•œ ๋ฐœํ™” ์˜๋ฏธ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ์ถ”๋ก  ๊ณผ์ •์„ ์ˆ˜๋ฐ˜ํ•œ๋‹ค [2]. ํด ๊ทธ๋ผ์ด์Šค(Paul Grice)์˜ ๋Œ€ํ™” ๊ฒฉ๋ฅ (์–‘, ์งˆ, ๊ด€๊ณ„, ๋ฐฉ์‹)์„ ์ค€์ˆ˜ํ•˜๊ฑฐ๋‚˜ ์˜๋„์ ์œผ๋กœ ์œ„๋ฐ˜ํ•จ์œผ๋กœ์จ ํ™”์ž๋Š” 'ํ•จ์ถ•(Implicature)'์„ ์ƒ์„ฑํ•˜๊ณ  ์ฒญ์ž๋Š” ๋งฅ๋ฝ์„ ํ†ตํ•ด ์ด๋ฅผ ํ•ด๋…ํ•œ๋‹ค [2, 10]. ์ด๋Ÿฌํ•œ ๊ณผ์ •์—์„œ ๋‡Œ์˜ ์ขŒํ•˜์ „๋‘ํšŒ(LIFG)์™€ ํ›„์ค‘์ธก๋‘ํšŒ(PMTG)๊ฐ€ ํ™œ์„ฑํ™”๋˜๋ฉฐ, ์ƒํ–ฅ์‹ ์ž๊ทน ์ž…๋ ฅ ํ›„ ๋‹จ์‹œ๊ฐ„ ๋‚ด์— ํ•˜ํ–ฅ์‹ ๋งฅ๋ฝ ์˜ํ–ฅ์ด ๊ฒฐํ•ฉํ•˜์—ฌ ์˜๋ฏธ ์„ ํƒ์„ ๋•๋Š”๋‹ค [11]. * **์ž„์ƒ์  ๊ด€์ : ๋งฅ๋ฝ ํ†ตํ•ฉ ๊ฒฐํ•จ์˜ ๋ณ‘๋ฆฌํ•™์  ์ดํ•ด** ๋งฅ๋ฝ ํ†ตํ•ฉ ๋Šฅ๋ ฅ์ด ์†์ƒ๋˜๊ฑฐ๋‚˜ ํŠน์ดํ•˜๊ฒŒ ์ž‘๋™ํ•˜๋Š” ๊ฒƒ์€ ์žํ ์ŠคํŽ™ํŠธ๋Ÿผ ์žฅ์• (ASD)์˜ ํ•ต์‹ฌ ๊ธฐ์ œ๋กœ ์ดํ•ด๋œ๋‹ค [12]. '์•ฝํ•œ ์ค‘์•™ ์‘์ง‘(Weak Central Coherence)' ์ด๋ก ์— ๋”ฐ๋ฅด๋ฉด, ์žํ ์„ฑํ–ฅ์˜ ๊ฐœ์ธ์€ ์ •๋ณด๋ฅผ ์ „์ฒด ๋งฅ๋ฝ ์†์—์„œ ํ†ตํ•ฉํ•˜๊ธฐ๋ณด๋‹ค ๊ตญ์†Œ์ ์ธ ์„ธ๋ถ€ ์‚ฌํ•ญ์— ์ง‘์ค‘ํ•˜๋ฉฐ, ์ƒํ™ฉ์˜ ์ด๋ฉด์„ ํŒŒ์•…ํ•˜๋Š” '๋งฅ๋ฝ ๋งน(Context Blindness)' ํŠน์„ฑ์„ ๋ณด์ธ๋‹ค [12]. ์ƒํ˜ธ์ž‘์šฉํ•˜๋Š” ์—ฌ๋Ÿฌ ๋ณ€์ˆ˜์— ๋™์‹œ์— ์ฃผ์˜๋ฅผ ํ• ๋‹นํ•˜๊ณ  ์ „ํ™˜ํ•˜์ง€ ๋ชปํ•˜๋Š” ํ˜„์ƒ์€ '์นด์ดํ…์Šคํ‹ฐ์•„(Caetextia)'๋กœ ์ •์˜๋˜๋ฉฐ, ์ด๋Š” ์‹œ๊ฐ์  ์ž๊ทน๊ณผ ์ „์ฒด์ ์ธ ๋งฅ๋ฝ์„ ์—ฐ๊ฒฐํ•˜์ง€ ๋ชปํ•˜๋Š” ๊ฒฐํ•จ์„ ๋œปํ•œ๋‹ค [13]. * **์‹ ๊ฒฝ์ƒ๋ฌผํ•™์  ๊ธฐ๋ฐ˜: ๊ธ€๋กœ๋ฒŒ ์›Œํฌ์ŠคํŽ˜์ด์Šค์™€ ๋™๊ธฐํ™”** ๋ถ„์‚ฐ๋œ ์‹ ๊ฒฝ ํ™œ๋™์ด ์ผ๊ด€๋œ ๋งฅ๋ฝ์  ๊ฒฝํ—˜์œผ๋กœ ํ†ตํ•ฉ๋˜๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜์€ '๊ธ€๋กœ๋ฒŒ ์›Œํฌ์ŠคํŽ˜์ด์Šค ์ด๋ก (GWT)'์œผ๋กœ ์„ค๋ช…๋œ๋‹ค [3]. ์ฃผ์˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์ด ํŠน์ • ์‹ ํ˜ธ๋ฅผ ์„ ํƒํ•ด ์ž„๊ณ„๊ฐ’์„ ๋„˜์œผ๋ฉด '์‹ ๊ฒฝ์  ์ ํ™”(Ignition)'๊ฐ€ ๋ฐœ์ƒํ•˜๊ณ , ์ด ์ •๋ณด๋Š” ๋‡Œ ์ „์ฒด์˜ ์ „๋ฌธ ๋ชจ๋“ˆ๋กœ ์ „์—ญ์ ์œผ๋กœ ๋ฐฉ์†ก(Broadcast)๋˜์–ด ๋งฅ๋ฝ ์†์—์„œ ํ•ด์„๋œ๋‹ค [3]. ์ด ๊ณผ์ •์˜ ์‹œ๊ฐ„์  ์กฐ์œจ์€ ์„ธํƒ€ ์ฃผํŒŒ์ˆ˜์™€ ๊ฐ๋งˆ ์ฃผํŒŒ์ˆ˜ ๊ฐ„์˜ ์œ„์ƒ-์ง„ํญ ๊ฒฐํ•ฉ์„ ํ†ตํ•ด ์ด๋ฃจ์–ด์ง€๋ฉฐ, ๋ฉ€๋ฆฌ ๋–จ์–ด์ง„ ๋‡Œ ์˜์—ญ ๊ฐ„์˜ ์˜์‚ฌ์†Œํ†ต์„ ๋™๊ธฐํ™”ํ•˜์—ฌ ๊ฒฐํ•ฉ ๋ฌธ์ œ(Binding Problem)๋ฅผ ํ•ด๊ฒฐํ•œ๋‹ค [4]. * **์ธ๊ณต์ง€๋Šฅ์˜ ๋งฅ๋ฝ ํ†ตํ•ฉ ์•„ํ‚คํ…์ฒ˜** ์ธ๊ณต์ง€๋Šฅ ๋ฐœ์ „์‚ฌ๋Š” ๊ธด ๋งฅ๋ฝ์„ ์œ ์ง€ํ•˜๊ณ  ํ†ตํ•ฉํ•˜๋Š” ๊ธฐ์ˆ ์  ์ง„ํ™”์™€ ๋งž๋‹ฟ์•„ ์žˆ๋‹ค. ํŠธ๋žœ์Šคํฌ๋จธ(Transformer)์˜ '์–ดํ…์…˜(Attention)' ๋ฉ”์ปค๋‹ˆ์ฆ˜์€ ์ „์ฒด ์‹œํ€€์Šค๋ฅผ ๋™์‹œ์— ๊ฒ€ํ† ํ•˜์—ฌ ๋ฉ€๋ฆฌ ๋–จ์–ด์ง„ ๋‹จ์–ด ๊ฐ„์˜ ์ƒ๊ด€๊ด€๊ณ„๋ฅผ ์ฆ‰๊ฐ์ ์œผ๋กœ ํŒŒ์•…ํ•˜๊ณ  ๊ฐ€์ค‘์น˜๋ฅผ ๋‘์–ด ์ž…์ฒด์ ์ธ ๋งฅ๋ฝ ํŒŒ์•…์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ–ˆ๋‹ค [5]. ๋‚˜์•„๊ฐ€ ์—ฐ์‚ฐ ๋น„์šฉ์˜ ๊ธฐํ•˜๊ธ‰์ˆ˜์  ์ฆ๊ฐ€๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด, ๊ฒน์น˜๋Š” ์ž‘์€ ์ฒญํฌ๋กœ ๋‚˜๋ˆ„๋Š” LongLoRA๋‚˜ ์†Œํ”„ํŠธ ํ”„๋กฌํ”„ํŠธ๋กœ ์••์ถ•ํ•˜๋Š” E2LLM์ด ๋“ฑ์žฅํ–ˆ๋‹ค [14]. ์ตœ๊ทผ์—๋Š” ํŠธ๋žœ์Šคํฌ๋จธ๋ฅผ ๋Œ€์ฒดํ•  ์ฐจ์„ธ๋Œ€ ์•„ํ‚คํ…์ฒ˜๋กœ ์„ ํ˜•์  ์—ฐ์‚ฐ ์‹œ๊ฐ„์„ ๋ณด์žฅํ•˜๋ฉด์„œ ์ •๋ณด๋ฅผ ์ทจ์‚ฌ์„ ํƒํ•˜๋Š” ์„ ํƒ์  ์ƒํƒœ ๊ณต๊ฐ„ ๋ชจ๋ธ(SSM)์ธ ๋ง˜๋ฐ”(Mamba)๊ฐ€ ๋ถ€์ƒํ•˜๊ณ  ์žˆ๋‹ค [6]. ## โš–๏ธ Trade-offs & Caveats * **์Šคํ‚ค๋งˆ์˜ ํšจ์œจ์„ฑ๊ณผ ์ธ์ง€์  ํŽธํ–ฅ:** ์ธ๊ฐ„์˜ ์ธ์ง€์  ๋งฅ๋ฝ ํ†ตํ•ฉ์€ ์Šคํ‚ค๋งˆ๋ฅผ ํ†ตํ•ด ์ •๋ณด ์ฒ˜๋ฆฌ์˜ ๋ถ€ํ•˜๋ฅผ ํš๊ธฐ์ ์œผ๋กœ ์ค„์ด์ง€๋งŒ, ๋ฐ˜๋Œ€ ๊ธ‰๋ถ€๋กœ ์ธ์ง€์  ํŽธํ–ฅ(Cognitive Bias)์ด๋‚˜ ํœด๋ฆฌ์Šคํ‹ฑ(Heuristics)์œผ๋กœ ์ด์–ด์ ธ ์ƒˆ๋กœ์šด ๋งฅ๋ฝ์— ๋ถ€ํ•ฉํ•˜์ง€ ์•Š๋Š” ์ •๋ณด๋ฅผ ์™œ๊ณกํ•˜๊ฑฐ๋‚˜ ๊ฐ„๊ณผํ•˜๋Š” ๋ถ€์ž‘์šฉ์„ ๋ฐœ์ƒ์‹œํ‚ฌ ์ˆ˜ ์žˆ๋‹ค [9]. * **๊ธด ๋งฅ๋ฝ ์ฒ˜๋ฆฌ ๋น„์šฉ๊ณผ ํŠธ๋žœ์Šคํฌ๋จธ์˜ ํ•œ๊ณ„:** AI ๋ชจ๋ธ์—์„œ ์–ดํ…์…˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ํ†ตํ•ด ๋งฅ๋ฝ์„ ํ†ตํ•ฉํ•  ๊ฒฝ์šฐ, ์ฒ˜๋ฆฌํ•ด์•ผ ํ•  ์‹œํ€€์Šค ๊ธธ์ด๊ฐ€ ๊ธธ์–ด์งˆ์ˆ˜๋ก ์—ฐ์‚ฐ ๋น„์šฉ๊ณผ ๋ฉ”๋ชจ๋ฆฌ ์š”๊ตฌ๋Ÿ‰์ด ์ œ๊ณฑ์œผ๋กœ ์ฆ๊ฐ€ํ•˜๋Š” '์ด์ฐจ ๋ณ‘๋ชฉ(Quadratic bottleneck)' ํ˜„์ƒ์ด๋ผ๋Š” ๋ช…ํ™•ํ•œ ์ œ์•ฝ ์‚ฌํ•ญ์ด ์กด์žฌํ•œ๋‹ค [14, 15]. * **์œ ์—ฐ์„ฑ๊ณผ ์žฅ๊ธฐ ๊ธฐ์–ต์˜ ์ƒ์ถฉ ๊ด€๊ณ„ (Trade-off):** AI๋Š” ์ธ์ปจํ…์ŠคํŠธ ๋Ÿฌ๋‹(In-context Learning)์„ ํ†ตํ•ด ๋งฅ๋ฝ ์ฐฝ ๋‚ด์— ๋งŽ์€ ์ •๋ณด๋ฅผ ๋„ฃ์–ด ์ผ์‹œ์ ์œผ๋กœ ์œ ์—ฐํ•œ ํŒ๋‹จ์„ ๋‚ด๋ฆด ์ˆ˜ ์žˆ๋‹ค [16]. ๊ทธ๋Ÿฌ๋‚˜ ์ด๋ ‡๊ฒŒ ์ฃผ์–ด์ง„ ํ”„๋กฌํ”„ํŠธ(๋งฅ๋ฝ)๋ฅผ ํ†ตํ•ด ๋ฐฐ์šด ๋‚ด์šฉ์€ ๋ชจ๋ธ์˜ ๊ทผ๋ณธ์ ์ด๊ณ  ์˜๊ตฌ์ ์ธ ์ง€์‹์ธ ํŒŒ๋ผ๋ฏธํ„ฐ ๋ฉ”๋ชจ๋ฆฌ(Parametric Memory)๋กœ ๋‚ด์žฌํ™”๋˜์ง€๋Š” ์•Š๋Š” ๊ตฌ์กฐ์ ์ธ ํ•œ๊ณ„๊ฐ€ ์žˆ๋‹ค [16]. * **์‹ฌ์ธต์  ๊ฐ์„ฑ๊ณผ ์œค๋ฆฌ์  ๋งฅ๋ฝ ํ†ตํ•ฉ์˜ ํ•œ๊ณ„:** ์ตœ์‹  AI ๋ชจ๋ธ์ด ๋ง‰๋Œ€ํ•œ ํ…์ŠคํŠธ์˜ ํ†ต๊ณ„์  ๊ฒฐํ•ฉ์œผ๋กœ ๋†€๋ผ์šด ์„ฑ๋Šฅ์„ ๋‚ด๊ณ  ์žˆ์ง€๋งŒ, ๋น„์–ธ์–ด์  ๋‹จ์„œ๋‚˜ ๋ฏธ๋ฌ˜ํ•œ ํ‘œ์ • ๋ณ€ํ™”, ๋ณตํ•ฉ์ ์ธ ๋ฌธํ™”์ ยท์œค๋ฆฌ์  ๋‰˜์•™์Šค๋ฅผ ์ข…ํ•ฉํ•˜์—ฌ ์ง„์˜๋ฅผ ํŒŒ์•…ํ•˜๋Š” ์ธ๊ฐ„ ๊ณ ์œ ์˜ ๊ฐ์„ฑ ์ง€๋Šฅ ๋ฐ ์‹ฌ์ธต์  ๋งฅ๋ฝ ํ†ตํ•ฉ ์˜์—ญ์—์„œ๋Š” ์—ฌ์ „ํžˆ ๊ทผ๋ณธ์ ์ธ ๋งน์ ์„ ์ง€๋‹ˆ๊ณ  ์žˆ๋‹ค [17]. ## ๐Ÿ”— Knowledge Connections ### Related Concepts #### [๊ด€๊ณ„ ์œ ํ˜• A (์‹ ๊ฒฝ๊ณผํ•™/์ธ์ง€ ๊ธฐ๋ฐ˜ ๊ธฐ์ œ)] - [[๊ธ€๋กœ๋ฒŒ ์›Œํฌ์ŠคํŽ˜์ด์Šค ์ด๋ก ]] - ์—ฐ๊ฒฐ ์ด์œ : ์ธ๊ฐ„์˜ ๋‡Œ๊ฐ€ ๋ถ„์‚ฐ๋œ ๋ฌด์˜์‹์  ์ •๋ณด๋“ค์„ ์–ด๋–ป๊ฒŒ ํ•˜๋‚˜์˜ ์ผ๊ด€๋œ ์˜์‹์  ๋งฅ๋ฝ ๊ฒฝํ—˜์œผ๋กœ ํ†ตํ•ฉํ•˜๋Š”์ง€ ์„ค๋ช…ํ•˜๋Š” ํ•ต์‹ฌ ์‹ ๊ฒฝ์ƒ๋ฌผํ•™์  ๋ชจ๋ธ์ด๋‹ค [3]. - ์ด ๊ฐœ๋…์„ ํ†ตํ•ด ๋” ๊นŠ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„: ๋งฅ๋ฝ์˜ ํ†ตํ•ฉ์ด ๋‡Œ์—์„œ '์ ํ™”'๋ฅผ ๊ฑฐ์ณ ์ „๋‘-๋‘์ • ๋„คํŠธ์›Œํฌ๋ฅผ ํ†ตํ•œ '์ „์—ญ์  ๋ฐฉ์†ก(Broadcast)'์œผ๋กœ ์ด๋ฃจ์–ด์ง„๋‹ค๋Š” ๋ฌผ๋ฆฌ์ ยท์‹ ๊ฒฝ์  ์ž‘์šฉ ์›๋ฆฌ. - [[์œ„์ƒ-์ง„ํญ ๊ฒฐํ•ฉ (TGC)]] - ์—ฐ๊ฒฐ ์ด์œ : ์ƒ์ดํ•œ ์ฃผํŒŒ์ˆ˜ ๋Œ€์—ญ(์„ธํƒ€ํŒŒ์™€ ๊ฐ๋งˆํŒŒ)์˜ ๋‡ŒํŒŒ๊ฐ€ ๊ฒฐํ•ฉํ•˜์—ฌ ์‚ฐ์žฌ๋œ ๊ฐ๊ฐ ์ •๋ณด๋ฅผ ๋™๊ธฐํ™”ํ•˜๋Š” ์ •๋ณด ํ†ตํ•ฉ ์ˆ˜๋‹จ์ด๋‹ค [4]. - ์ด ๊ฐœ๋…์„ ํ†ตํ•ด ๋” ๊นŠ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„: ๋ฉ€๋ฆฌ ๋–จ์–ด์ง„ ๋‡Œ ์˜์—ญ ๊ฐ„ ์˜์‚ฌ์†Œํ†ต์ด ์–ด๋–ป๊ฒŒ ์‹œ๊ฐ„์ ์œผ๋กœ ์กฐ์œจ๋˜๋ฉฐ ๋‹จํŽธ์  ์ •๋ณด๋“ค์ด ๋งฅ๋ฝ์œผ๋กœ ๊ฒฐํ•ฉ(Binding)๋˜๋Š”๊ฐ€์— ๋Œ€ํ•œ ๋ฉ”์ปค๋‹ˆ์ฆ˜. #### [๊ด€๊ณ„ ์œ ํ˜• B (์ž„์ƒ์ /์ธ์ง€์  ๊ฒฐํ•จ ํŠน์„ฑ)] - [[์•ฝํ•œ ์ค‘์•™ ์‘์ง‘ (Weak Central Coherence)]] - ์—ฐ๊ฒฐ ์ด์œ : ๋งฅ๋ฝ ํ†ตํ•ฉ ๋Šฅ๋ ฅ์ด ๊ฒฐ์—ฌ๋  ๋•Œ ๋‚˜ํƒ€๋‚˜๋Š” ์žํ ์ŠคํŽ™ํŠธ๋Ÿผ ์žฅ์• (ASD)์˜ ์ฃผ์š” ์ธ์ง€์  ํŠน์„ฑ์„ ์„ค๋ช…ํ•˜๋Š” ์‹ฌ๋ฆฌํ•™ ์ด๋ก ์ด๋‹ค [12]. - ์ด ๊ฐœ๋…์„ ํ†ตํ•ด ๋” ๊นŠ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„: ๋‡Œ๊ฐ€ ์ƒํ™ฉ์˜ ์ „์ฒด์  ๋งฅ๋ฝ(์ˆฒ)๋ณด๋‹ค ๊ตญ์†Œ์  ์„ธ๋ถ€ ์‚ฌํ•ญ(๋‚˜๋ฌด)์— ์ง€๋‚˜์น˜๊ฒŒ ์ง‘์ค‘ํ•  ๋•Œ ์–ธ์–ด ์ฒ˜๋ฆฌ ๋ฐ ๋Œ€์ธ ๊ด€๊ณ„์—์„œ ๋ฐœ์ƒํ•˜๋Š” ๋งฅ๋ฝ ๋งน(Context Blindness) ํ˜„์ƒ. - [[์นด์ดํ…์Šคํ‹ฐ์•„ (Caetextia)]] - ์—ฐ๊ฒฐ ์ด์œ : ํ™˜๊ฒฝ ๋‚ด ์ƒํ˜ธ์ž‘์šฉํ•˜๋Š” ๋‹ค์ˆ˜์˜ ๋ณ€์ˆ˜์— ์ฃผ์˜๋ฅผ ํ• ๋‹นํ•˜๊ณ  ์ „ํ™˜ํ•˜๋Š” ๋Šฅ๋ ฅ์˜ ๋ถ€์žฌ๋ฅผ ์˜๋ฏธํ•˜๋ฉฐ ๋งฅ๋ฝ์  ๋งน๋ชฉ์„ฑ์„ ๊ทน๋Œ€ํ™”ํ•˜์—ฌ ๋ณด์—ฌ์ค€๋‹ค [13]. - ์ด ๊ฐœ๋…์„ ํ†ตํ•ด ๋” ๊นŠ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„: ๊ณ ์ •๋œ ๊ทœ์น™์— ์ง‘์ฐฉํ•˜๋Š” ํ–‰๋™ ์–‘์‹์ด ๋ถ€๋ถ„์  ์‹œ๊ฐ ์ž๊ทน๊ณผ ์ „์ฒด ๋งฅ๋ฝ ๊ฐ„์˜ ์—ฐ๊ฒฐ ์‹คํŒจ์—์„œ ์–ด๋–ป๊ฒŒ ๊ธฐ์ธํ•˜๋Š”์ง€์— ๋Œ€ํ•œ ๋ณ‘๋ฆฌํ•™์  ์‚ฌ๋ก€. #### [๊ด€๊ณ„ ์œ ํ˜• C (์ธ๊ณต์ง€๋Šฅ ๊ณ„์‚ฐ ์•„ํ‚คํ…์ฒ˜)] - [[์–ดํ…์…˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜]] - ์—ฐ๊ฒฐ ์ด์œ : ํŠธ๋žœ์Šคํฌ๋จธ ์•„ํ‚คํ…์ฒ˜์˜ ํ•ต์‹ฌ์œผ๋กœ, ๋ฌธ์žฅ ๋‚ด ํ† ํฐ๋“ค์ด ์„œ๋กœ์—๊ฒŒ ์–ผ๋งˆ๋‚˜ ์—ฐ๊ด€์ด ์žˆ๋Š”์ง€ ์ ์ˆ˜๋ฅผ ๋งค๊ฒจ ์ค‘์š” ๋งฅ๋ฝ์— ๊ฐ€์ค‘์น˜๋ฅผ ๋‘๋Š” AI ์—ฐ์‚ฐ ๊ธฐ๋ฒ•์ด๋‹ค [5]. - ์ด ๊ฐœ๋…์„ ํ†ตํ•ด ๋” ๊นŠ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„: ๊ธฐ๊ณ„๊ฐ€ ๋‹จ์–ด ๋‹จ์œ„์˜ ์ˆœ์ฐจ์  ์ฒ˜๋ฆฌ๋ฅผ ๋ฒ—์–ด๋‚˜ ์‹œํ€€์Šค ์ „์ฒด๋ฅผ ๋™์‹œ ๊ฒ€ํ† ํ•จ์œผ๋กœ์จ ๋ฌธ๋งฅ์  ์ค‘์˜์„ฑ์„ ์–ด๋–ป๊ฒŒ ์ธ๊ณต์ ์œผ๋กœ ํ•ด์†Œํ•˜๋Š”์ง€. - [[์„ ํƒ์  ์ƒํƒœ ๊ณต๊ฐ„ ๋ชจ๋ธ (Mamba)]] - ์—ฐ๊ฒฐ ์ด์œ : ๊ธฐ์กด ํŠธ๋žœ์Šคํฌ๋จธ์˜ ์–ดํ…์…˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์ด ์ง€๋‹Œ ์—ฐ์‚ฐ ํ•œ๊ณ„๋ฅผ ์„ ํ˜•์  ์‹œ๊ฐ„์œผ๋กœ ๊ทน๋ณตํ•˜๋ฉด์„œ, ๋งฅ๋ฝ ์ •๋ณด์˜ ์œ ์ง€์™€ ์‚ญ์ œ๋ฅผ ๋™์ ์œผ๋กœ ๊ฒฐ์ •ํ•˜๋Š” ์ฐจ์„ธ๋Œ€ ๋ชจ๋ธ์ด๋‹ค [6]. - ์ด ๊ฐœ๋…์„ ํ†ตํ•ด ๋” ๊นŠ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„: ํšจ์œจ์ ์ธ ๊ธด ๋งฅ๋ฝ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•ด ์ž…๋ ฅ ๋ฐ์ดํ„ฐ์˜ ์ค‘์š”์„ฑ์— ๋”ฐ๋ผ ๊ธฐ์–ต(์ƒํƒœ ์ „์ด)์„ ์ตœ์ ํ™”ํ•˜๋Š” ์ƒˆ๋กœ์šด ์ฐจ์›์˜ ์ˆ˜ํ•™์  ํ†ตํ•ฉ ๊ธฐ์ œ. - [[๋‰ด๋กœ-์‹ฌ๋ณผ๋ฆญ AI]] - ์—ฐ๊ฒฐ ์ด์œ : ์‹ ๊ฒฝ๋ง์˜ ๋ฐ์ดํ„ฐ ํŒจํ„ด ์ธ์‹ ๋Šฅ๋ ฅ์— ๊ธฐํ˜ธ ๋…ผ๋ฆฌ์˜ ๋ช…์‹œ์  ๊ทœ์น™ ๋ฐ ์ถ”๋ก ์„ ๋”ํ•ด AI์˜ ๋งฅ๋ฝ์  ์ •๋‹น์„ฑ๊ณผ ์„ค๋ช… ๊ฐ€๋Šฅ์„ฑ์„ ํ™•๋ณดํ•˜๋ ค๋Š” ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๊ธฐ์ˆ  ๋ฐฉํ–ฅ์ด๋‹ค [18]. - ์ด ๊ฐœ๋…์„ ํ†ตํ•ด ๋” ๊นŠ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ€๋ถ„: ๋‹จ์ˆœ ํ†ต๊ณ„์  ์˜ˆ์ธก์„ ๋„˜์–ด ์ž„์ƒ ๊ฐ€์ด๋“œ๋ผ์ธ์ด๋‚˜ ์ธ๊ณผ๊ด€๊ณ„ ๋“ฑ ๊ตฌ์กฐํ™”๋œ ์™ธ๋ถ€ ๋งฅ๋ฝ์„ ์–ด๋–ป๊ฒŒ ์ž์œจ์  ์˜์‚ฌ๊ฒฐ์ •์— ์œตํ•ฉํ•  ์ˆ˜ ์žˆ๋Š”์ง€. ### Deeper Research Questions - ์‹ ๊ฒฝ์ƒ๋ฌผํ•™์  ์„ธํƒ€-๊ฐ๋งˆ ์œ„์ƒ ๋™๊ธฐํ™” ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์ธ๊ณต์ง€๋Šฅ์˜ ๋ฉ€ํ‹ฐํ—ค๋“œ ์–ดํ…์…˜(Multi-head Attention) ๋˜๋Š” ์ƒํƒœ ๊ณต๊ฐ„ ๋ชจ๋ธ์— ์ˆ˜ํ•™์ ์œผ๋กœ ์–ด๋–ป๊ฒŒ ์น˜ํ™˜ ๋ฐ ์ด์‹ํ•  ์ˆ˜ ์žˆ๋Š”๊ฐ€? - ์žํ ์ŠคํŽ™ํŠธ๋Ÿผ ์žฅ์• ์˜ '์•ฝํ•œ ์ค‘์•™ ์‘์ง‘' ๋ฐ '๋งฅ๋ฝ ๋งน' ํŠน์„ฑ์„ ์ฐจ์šฉํ•˜์—ฌ, ๋Œ€ํ˜• ์–ธ์–ด ๋ชจ๋ธ(LLM)์ด ํ™˜๊ฐ(Hallucination)์„ ์ผ์œผํ‚ค๊ฑฐ๋‚˜ ๋ฌธ๋งฅ์„ ์˜ค๋…ํ•˜๋Š” ํ˜„์ƒ์„ ์กฐ๊ธฐ์— ์ง„๋‹จํ•˜๊ณ  ํ•„ํ„ฐ๋งํ•˜๋Š” ํ‰๊ฐ€ ์ง€ํ‘œ๋กœ ์‚ผ์„ ์ˆ˜ ์žˆ๋Š”๊ฐ€? - ๊ทธ๋ผ์ด์Šค์˜ ๋Œ€ํ™” ๊ฒฉ๋ฅ (์–‘, ์งˆ, ๊ด€๊ณ„, ๋ฐฉ์‹)์„ ์ž์œจํ˜• ๋‹ค์ค‘ ์ธ๊ณต์ง€๋Šฅ ์—์ด์ „ํŠธ ๊ฐ„์˜ ์ƒํ˜ธ์ž‘์šฉ ์‹œ์Šคํ…œ์— ์ ์šฉํ•  ๋•Œ, ์ •๋ณด ๋น„๋Œ€์นญ์„ฑ๊ณผ ๋น„ํšจ์œจ์„ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•œ ์ตœ์ ์˜ ๋ณด์ƒ ํ•จ์ˆ˜๋Š” ๋ฌด์—‡์ธ๊ฐ€? - ์œ ์—ฐํ•˜๊ณ  ์ฆ‰๊ฐ์ ์ธ ๋งฅ๋ฝ ๋Œ€์‘์„ ์ง€์›ํ•˜๋Š” '์ธ์ปจํ…์ŠคํŠธ ๋Ÿฌ๋‹(In-context Learning)'๊ณผ ์˜๊ตฌ์  ์ง€์‹์„ ์ €์žฅํ•˜๋Š” 'ํŒŒ๋ผ๋ฏธํ„ฐ ๋ฉ”๋ชจ๋ฆฌ(Parametric Memory)'์˜ ์ƒ์ถฉ ๊ด€๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ธฐ ์œ„ํ•ด, ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜๋Š” ์–ด๋–ค ํ˜•ํƒœ์˜ ๋ฉ”ํƒ€ ํ•™์Šต ๋ชจ๋“ˆ์„ ๊ฐ€์ ธ์•ผ ํ•˜๋Š”๊ฐ€? - ์ธ๊ฐ„ ๊ณ ์œ ์˜ ๊ฐ์„ฑ ์ง€๋Šฅ๊ณผ ๋น„์–ธ์–ด์  ๋‹จ์„œ๋ฅผ ์š”๊ตฌํ•˜๋Š” '์‚ฌํšŒ์  ํ™”์šฉ๋ก (Social Pragmatics)'์„ ์ธ๊ณต์ง€๋Šฅ ์ฑ—๋ด‡์ด ํš๋“ํ•˜๋„๋ก ํ•˜๊ธฐ ์œ„ํ•ด, ๋‹ค์ค‘ ์–‘ํ˜•(Multimodal) ๋ฐ์ดํ„ฐ ํ•™์Šต ํŒŒ์ดํ”„๋ผ์ธ์—์„œ ๋งฅ๋ฝ์„ ๋ถ€ํ˜ธํ™”ํ•˜๋Š” ์ตœ์ ์˜ ๋ฐฉ๋ฒ•์€ ๋ฌด์—‡์ธ๊ฐ€? ### Practical Application Contexts - **Implementation:** ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๋ถ„์•ผ์—์„œ ๋Œ€ํ™”ํ˜• AI ์–ด์‹œ์Šคํ„ดํŠธ๋ฅผ ๊ฐœ๋ฐœํ•  ๋•Œ, ์‚ฌ์šฉ์ž์˜ ๋ช…์‹œ์  ๋‹จ์–ด ๋’ค์— ์ˆจ๊ฒจ์ง„ ํ•จ์ถ•์  ์˜๋ฏธ(Implicature)์™€ ๋ฐœํ™” ์˜๋„(Speech Act)๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ์ถ”๋ก ํ•˜๋„๋ก ํ™”์šฉ๋ก  ๋ฐ์ดํ„ฐ์…‹์„ ํ†ตํ•ด ๋ฏธ์„ธ์กฐ์ •(Fine-Tuning)ํ•œ๋‹ค. - **System Design:** ๋ฐฉ๋Œ€ํ•œ ์–‘์˜ ์ „๋ฌธ ๋ฌธํ—Œ์„ ๋ถ„์„ํ•˜๋Š” ์‹œ์Šคํ…œ์„ ์„ค๊ณ„ํ•  ๋•Œ, ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ ์ด์ฐจ ๋ณ‘๋ชฉ ํ˜„์ƒ์„ ๋ฐฉ์ง€ํ•˜๊ธฐ ์œ„ํ•ด LongLoRA ๊ฐ™์€ ๋ถ€๋ถ„ ์–ดํ…์…˜ ๋ถ„ํ•  ๊ธฐ๋ฒ•์ด๋‚˜ Mamba ๊ธฐ๋ฐ˜์˜ ์„ ํ˜• ์‹œ๊ฐ„ ์•„ํ‚คํ…์ฒ˜๋ฅผ ์ฑ„ํƒํ•˜์—ฌ ์‹œ์Šคํ…œ ํšจ์œจ์„ฑ์„ ๊ทน๋Œ€ํ™”ํ•œ๋‹ค. - **Operation / Maintenance:** ๊ธฐ์—…์šฉ ๊ฒ€์ƒ‰ ์ฆ๊ฐ• ์ƒ์„ฑ(RAG) ํŒŒ์ดํ”„๋ผ์ธ์„ ์šด์˜ํ•  ๋•Œ, ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์—์„œ ๊ฒ€์ƒ‰๋œ ์ˆ˜๋งŽ์€ ๋ฌธ์„œ ์ฒญํฌ ์ค‘ ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ ๋งฅ๋ฝ์— ๊ฐ€์žฅ ์œ ํšจํ•œ ๋ฌธ์„œ๋งŒ ํ•„ํ„ฐ๋งํ•˜์—ฌ ํ”„๋กฌํ”„ํŠธ ์ปจํ…์ŠคํŠธ์— ์ฃผ์ž…ํ•˜๋„๋ก ๋žญํ‚น ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์œ ์ง€๋ณด์ˆ˜ํ•œ๋‹ค. - **Learning Path:** ์ธ์ง€ ์‹ฌ๋ฆฌํ•™์˜ ๋ถ€ํ˜ธํ™” ํŠน์ˆ˜์„ฑ ๋ฐ ์Šคํ‚ค๋งˆ ์ด๋ก , ์–ธ์–ดํ•™์˜ ๊ทธ๋ผ์ด์Šค ๊ฒฉ๋ฅ  ๋“ฑ ์ธ๋ฌธํ•™์  ๊ฐœ๋…์„ ์„ ํ–‰ ํ•™์Šตํ•œ ํ›„, ์ธ๊ณต์‹ ๊ฒฝ๋ง์˜ ์–ดํ…์…˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜ ๊ตฌ์กฐ๋ฅผ ๊ฑฐ์ณ ์ฐจ์„ธ๋Œ€ ์ƒํƒœ ๊ณต๊ฐ„ ๋ชจ๋ธ(SSM)๊ณผ ๋‰ด๋กœ-์‹ฌ๋ณผ๋ฆญ AI ๊ธฐ์ˆ ๋กœ ๋‚˜์•„๊ฐ€๋Š” ๋‹คํ•™์ œ์  AI ์—”์ง€๋‹ˆ์–ด๋ง ๊ณผ์ •์„ ๋ฐŸ๋Š”๋‹ค. - **My Project Relevance:** ๋ฌธ์„œ ์š”์•ฝ, ๋Œ€ํ™” ๋ถ„์„, ํ˜น์€ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ํ˜‘๋ ฅ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ตฌ์ถ•ํ•ด์•ผ ํ•˜๋Š” ํ”„๋กœ์ ํŠธ์—์„œ, ๋‹จ์ˆœํ•œ ํ‚ค์›Œ๋“œ ์ถ”์ถœ์„ ๋„˜์–ด์„œ์„œ ๋ถ„์‚ฐ๋œ ๋ฐ์ดํ„ฐ์˜ ๊ธ€๋กœ๋ฒŒ ์›Œํฌ์ŠคํŽ˜์ด์Šค ํ†ตํ•ฉ ๋ชจ๋ธ์„ ์„ค๊ณ„ํ•˜๊ณ , ์ปดํ“จํŒ… ์ž์›์„ ์ตœ์ ํ™”ํ•˜๋ฉฐ ๋†’์€ ์ •ํ™•๋„์˜ ์˜๋ฏธ๋ก ์  ํŒ๋‹จ์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐ ํ•„์ˆ˜์  ๊ธฐ๋ฐ˜์œผ๋กœ ์‚ผ๋Š”๋‹ค. ### Adjacent Topics - [[๊ฒ€์ƒ‰ ์ฆ๊ฐ• ์ƒ์„ฑ (RAG)]] - ํ™•์žฅ ๋ฐฉํ–ฅ: ์ธ๊ณต์ง€๋Šฅ์ด ๋งค๊ฐœ๋ณ€์ˆ˜์— ๊ณ ์ •๋œ ์ง€์‹์—๋งŒ ์˜์กดํ•˜์ง€ ์•Š๊ณ , ์ตœ์‹  ํ˜น์€ ํŠน์ • ๋„๋ฉ”์ธ์˜ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ๋ฌธ์„œ๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ฒ€์ƒ‰ํ•˜์—ฌ ๋™์ ์ธ ์™ธ๋ถ€ ๋งฅ๋ฝ์„ ์‹œ์Šคํ…œ ์ถ”๋ก ์— ์ง์ ‘ ์ฃผ์ž…ํ•˜๋Š” ๊ตฌ์กฐ์  ํ™•์žฅ์„ ์—ฐ๊ตฌํ•  ์ˆ˜ ์žˆ๋‹ค. - [[ํ˜•ํƒœ์†Œ ๋ฐ ํ†ต์‚ฌ ๋ถ„์„ (Morphological & Syntactic Analysis)]] - ํ™•์žฅ ๋ฐฉํ–ฅ: ๊ณ ์ฐจ์›์ ์ธ ํ™”์šฉ๋ก ์  ๋งฅ๋ฝ ํ†ตํ•ฉ์ด ์ด๋ฃจ์–ด์ง€๊ธฐ ์ด์ „์—, ๋ฌธ์žฅ์˜ ๊ตฌ์กฐ์ , ๋ฌธ๋ฒ•์ , ์‚ฌ์ „์  ๊ทœ์น™์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์–ธ์–ด ์ •๋ณด๋ฅผ ์ผ์ฐจ์ ์œผ๋กœ ๋ถ„ํ•ดํ•˜๊ณ  ์ฒ˜๋ฆฌํ•˜๋Š” ์„ ํ–‰์  ์–ธ์–ดํ•™ ์˜์—ญ์œผ๋กœ ์ง€ํ‰์„ ๋„“ํž ์ˆ˜ ์žˆ๋‹ค. --- *Last updated: 2026-05-04*