[G1-Sync] Manual knowledge update

10_Wiki/Topics/Low-Rank-Adaptation-LoRA.md

@@ -2,7 +2,7 @@
 id: AI-LORA-001
 category: "10_Wiki/💡 Topics/AI"
 confidence_score: 1.0
-tags: [ai, llm, lora, peft, fine-tuning, model-optimization]
+tags: [ai, llm, lora, peft, [[Fine-tuning]], model-[[Optimization]]]
 last_reinforced: 2026-04-26
 ---
 
@@ -12,7 +12,7 @@ last_reinforced: 2026-04-26
 > "거대한 뇌(Base Model)는 그대로 두고, 아주 얇은 신경 다발(Low-rank Matrices)만 덧붙여 새로운 기술을 가르쳐라" — 거대 언어 모델의 본래 가중치는 고정하고, 가중치 변화량($\Delta W$)을 두 개의 작은 행렬의 곱으로 분해하여 학습함으로써 파라미터 수를 10,000배 이상 줄이면서도 효과적인 미세 조정을 가능케 하는 기법.
 
 ## 📖 구조화된 지식 (Synthesized Content)
-- **추출된 패턴:** "Efficient Parameter Update" — 모델의 변화량이 실제로는 낮은 차원의 내재적 구조(Intrinsic Dimension)를 가진다는 통찰을 바탕으로, 전체를 다시 학습시키는 대신 핵심적인 변화만을 포착하여 효율적으로 지식을 이식하는 PEFT(Parameter-Efficient Fine-Tuning) 패턴.
+- **추출된 패턴:** "Efficient [[Parameter]] Update" — 모델의 변화량이 실제로는 낮은 차원의 내재적 구조(Intrinsic Dimension)를 가진다는 통찰을 바탕으로, 전체를 다시 학습시키는 대신 핵심적인 변화만을 포착하여 효율적으로 지식을 이식하는 PEFT(Parameter-Efficient Fine-Tuning) 패턴.
 - **작동 원리:**
     - **Freezing:** 기존 모델의 모든 가중치는 업데이트하지 않음.
     - **Low-Rank Decomposition:** 업데이트할 가중치 행렬을 $A \times B$ (순위 $r$이 매우 작은 행렬들)로 정의하여 학습.