--- id: NLP-LSA-001 category: "10_Wiki/๐Ÿ’ก Topics/AI" confidence_score: 1.0 tags: [nlp, lsa, svd, latent-semantics, dimensional-reduction, search-optimization] last_reinforced: 2026-04-26 --- # Latent Semantic Analysis (LSA, ์ž ์žฌ ์˜๋ฏธ ๋ถ„์„) ## ๐Ÿ“Œ ํ•œ ์ค„ ํ†ต์ฐฐ (The Karpathy Summary) > "์„œ๋กœ ๋‹ค๋ฅธ ๋‹จ์–ด๋ผ๋„ ๊ฐ™์€ ์˜๋ฏธ๋ฅผ ํ’ˆ๊ณ  ์žˆ๋‹ค๋ฉด, ๊ณ ์ฐจ์› ์ˆ˜ํ•™์˜ ๋ˆˆ(SVD)์œผ๋กœ ๊ทธ๋“ค์„ ํ•œ๊ณณ์œผ๋กœ ๋ชจ์•„๋ผ" โ€” ๋‹จ์–ด-๋ฌธ์„œ ํ–‰๋ ฌ์„ ํŠน์ด๊ฐ’ ๋ถ„ํ•ด(SVD)ํ•˜์—ฌ ๋ฐ์ดํ„ฐ์˜ ์ฐจ์›์„ ์ถ•์†Œํ•˜๊ณ , ์ด๋ฅผ ํ†ตํ•ด ๋‹จ์–ด๋“ค ์‚ฌ์ด์— ์ˆจ๊ฒจ์ง„ ์ž ์žฌ์ ์ธ ์˜๋ฏธ ๊ตฌ์กฐ๋ฅผ ํŒŒ์•…ํ•˜๋Š” ๊ธฐ๋ฒ•. ## ๐Ÿ“– ๊ตฌ์กฐํ™”๋œ ์ง€์‹ (Synthesized Content) - **์ถ”์ถœ๋œ ํŒจํ„ด:** "Semantic Noise Reduction" โ€” ์ฒ ์ž๊ฐ€ ๋‹ค๋ฅด์ง€๋งŒ ์˜๋ฏธ๊ฐ€ ๋น„์Šทํ•œ ์œ ์˜์–ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด, ์ค‘๋ณต๋˜๊ฑฐ๋‚˜ ์ค‘์š”๋„๊ฐ€ ๋‚ฎ์€ ์ •๋ณด๋ฅผ ์ œ๊ฑฐํ•˜๊ณ  ํ•ต์‹ฌ์ ์ธ '์˜๋ฏธ์  ํŠน์ง•'๋งŒ์„ ๋‚จ๊ธฐ๋Š” ์ฐจ์› ์ถ•์†Œ ํŒจํ„ด. - **์ž‘๋™ ์›๋ฆฌ:** - **Step 1:** ๋‹จ์–ด-๋ฌธ์„œ ํ–‰๋ ฌ(DTM) ์ƒ์„ฑ. - **Step 2:** TF-IDF ๋“ฑ์„ ํ†ตํ•ด ๋‹จ์–ด์˜ ๊ฐ€์ค‘์น˜ ์กฐ์ ˆ. - **Step 3:** SVD๋ฅผ ์ˆ˜ํ–‰ํ•˜์—ฌ ์ƒ์œ„ K๊ฐœ์˜ ํŠน์ด๊ฐ’๋งŒ ๋‚จ๊ธฐ๊ณ  ๋‚˜๋จธ์ง€ ์‚ญ์ œ (์ฐจ์› ์ถ•์†Œ). - **์˜์˜:** ๋™์˜์–ด(Synonymy) ๋ฌธ์ œ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ํ˜„๋Œ€ ์ž„๋ฒ ๋”ฉ ๊ธฐ์ˆ (Word2Vec ๋“ฑ)์ด ๋‚˜์˜ค๊ธฐ ์ „๊นŒ์ง€ ํ…์ŠคํŠธ์˜ ์˜๋ฏธ์  ์œ ์‚ฌ๋„๋ฅผ ์ธก์ •ํ•˜๋Š” ํ‘œ์ค€ ๊ธฐ์ˆ ๋กœ ๊ตฐ๋ฆผํ•จ. ## โš ๏ธ ๋ชจ์ˆœ ๋ฐ ์—…๋ฐ์ดํŠธ (Contradictions & RL Update) - **๊ณผ๊ฑฐ ๋ฐ์ดํ„ฐ์™€์˜ ์ถฉ๋Œ:** ๋‹จ์–ด์˜ ์ˆœ์„œ๋ฅผ ๋ฌด์‹œํ•˜๋Š” Bag-of-Words ๊ธฐ๋ฐ˜์˜ ํ•œ๊ณ„์™€ ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ ์ถ”๊ฐ€ ์‹œ ์ „์ฒด ํ–‰๋ ฌ์„ ๋‹ค์‹œ ๋ถ„ํ•ดํ•ด์•ผ ํ•˜๋Š” ๋น„ํšจ์œจ์„ฑ์œผ๋กœ ์ธํ•ด, ์ตœ๊ทผ์—๋Š” ์‹ ๊ฒฝ๋ง ๊ธฐ๋ฐ˜์˜ ๋ฒกํ„ฐ ์ž„๋ฒ ๋”ฉ ๊ธฐ์ˆ ๋กœ ๋Œ€์ฒด๋˜๋Š” ์ถ”์„ธ. - **์ •์ฑ… ๋ณ€ํ™”:** Antigravity ํ”„๋กœ์ ํŠธ๋Š” ๊ณผ๊ฑฐ์— ๊ตฌ์ถ•๋œ ๋Œ€๊ทœ๋ชจ ํ…์ŠคํŠธ ์•„์นด์ด๋ธŒ๋ฅผ ๋น ๋ฅด๊ฒŒ ์ƒ‰์ธํ™”ํ•˜๊ณ  ์ฃผ์ œ ๊ฐ„์˜ ๊ฑฐ๋Œ€ ์ง€๋„๋ฅผ ์‹œ๊ฐํ™”ํ•  ๋•Œ, ์—ฐ์‚ฐ ์†๋„๊ฐ€ ๋น ๋ฅธ LSA๋ฅผ ์ดˆ๊ธฐ ๋ถ„์„ ๋„๊ตฌ๋กœ ๋ณ‘ํ–‰ํ•จ. ## ๐Ÿ”— ์ง€์‹ ์—ฐ๊ฒฐ (Graph) - [[Latent-Dirichlet-Allocation]], [[Dimensionality-Reduction]], [[Information-Retrieval-IR]], NLP-Foundations - **Raw Source:** 10_Wiki/Topics/AI/Latent-Semantic-Analysis-LSA.md