chore(wiki): reinforce knowledge batch #15 (300 docs milestone reached)

10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md

@@ -1,28 +1,28 @@
 ---
-id: LORA-001
+id: AI-LORA-001
 category: "[[10_Wiki/💡 Topics/AI]]"
 confidence_score: 1.0
-tags: [ai, fine-tuning, lora, deep-learning, efficiency]
+tags: [ai, llm, lora, peft, fine-tuning, model-optimization]
 last_reinforced: 2026-04-26
 ---
 
-# [[Low-Rank Adaptation (LoRA, 저순위 어댑션)]]
+# [[Low-Rank Adaptation (LoRA, 저순위 적응)]]
 
 ## 📌 한 줄 통찰 (The Karpathy Summary)
-> "모델 전체를 건드리지 말고, 작은 '날개'만 달아서 성능을 바꿔라" — 거대 모델의 기존 가중치는 고정한 채, 아주 작은 크기의 행렬 두 개만을 추가하여 학습시킴으로써 적은 비용으로 파인튜닝 효과를 내는 혁신적인 효율화 기법.
+> "거대한 뇌(Base Model)는 그대로 두고, 아주 얇은 신경 다발(Low-rank Matrices)만 덧붙여 새로운 기술을 가르쳐라" — 거대 언어 모델의 본래 가중치는 고정하고, 가중치 변화량($\Delta W$)을 두 개의 작은 행렬의 곱으로 분해하여 학습함으로써 파라미터 수를 10,000배 이상 줄이면서도 효과적인 미세 조정을 가능케 하는 기법.
 
 ## 📖 구조화된 지식 (Synthesized Content)
-- **추출된 패턴:** 거대 행렬의 변화량을 낮은 순위(Low-rank)의 두 행렬곱으로 분해하여 표현함으로써, 학습해야 할 파라미터 수를 10,000배 이상 줄이면서도 성능을 유지하는 패턴.
-- **세부 내용:**
-    - **Frozen Backbone:** 원본 모델의 가중치는 절대 변경하지 않음 (Catastrophic Forgetting 방지).
-    - **A & B Matrices:** 모델의 어텐션 층 등에 추가되는 아주 얇은 행렬들. 이 부분만 학습이 진행됨.
-    - **Merge & Deploy:** 학습 완료 후 두 행렬을 곱해 원본 가중치에 더하면 추가 연산 비용 없이 추론 가능.
-    - **Storage Efficiency:** 수십 GB의 전체 모델 대신 수십 MB의 LoRA 가중치 파일만 저장하면 되므로 배포가 매우 용이.
+- **추출된 패턴:** "Efficient Parameter Update" — 모델의 변화량이 실제로는 낮은 차원의 내재적 구조(Intrinsic Dimension)를 가진다는 통찰을 바탕으로, 전체를 다시 학습시키는 대신 핵심적인 변화만을 포착하여 효율적으로 지식을 이식하는 PEFT(Parameter-Efficient Fine-Tuning) 패턴.
+- **작동 원리:**
+    - **Freezing:** 기존 모델의 모든 가중치는 업데이트하지 않음.
+    - **Low-Rank Decomposition:** 업데이트할 가중치 행렬을 $A \times B$ (순위 $r$이 매우 작은 행렬들)로 정의하여 학습.
+    - **Merging:** 학습 완료 후, 훈련된 행렬을 기존 모델과 합쳐서 추론 지연 시간(Latency) 없이 사용 가능.
+- **의의:** 고사양 GPU 없이도 대규모 모델을 특정 도메인에 최적화할 수 있게 하여, 개인화된 AI 및 기업용 특화 모델 구축의 진입 장벽을 혁신적으로 낮춤.
 
 ## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
-- **과거 데이터와의 충돌:** 고성능 GPU 수십 대가 필요했던 파인튜닝을 일반 데스크톱 한 대로도 가능하게 만들며 AI 민주화에 기여.
-- **정책 변화:** Antigravity 프로젝트는 특정 도메인 특화 모델 생성 시 LoRA 기법을 기본으로 사용하며, '브레인 프로필' 단위로 LoRA 가중치를 관리함.
+- **과거 데이터와의 충돌:** 성능을 위해서는 전체 미세 조정(Full Fine-tuning)이 필수라는 믿음을 깨고, LoRA만으로도 유사하거나 더 나은 성능을 낼 수 있음을 입증하며 현대 LLM 생태계의 표준 튜닝 기술로 자리 잡음.
+- **정책 변화:** Antigravity 프로젝트는 사용자의 특정 코딩 스타일이나 문서 양식을 에이전트에게 학습시킬 때, 원본 모델의 지능을 훼손하지 않고 효율적으로 학습하기 위해 LoRA 기술을 기본으로 사용함.
 
 ## 🔗 지식 연결 (Graph)
-- [[Fine-Tuning]], [[Linear-Algebra-for-ML]], [[Parameter-Efficient-Fine-Tuning]], [[LLM]]
+- [[LLM]], [[Transfer-Learning-Foundations]], [[Inference-Optimization]], [[Local-Brain-Management]]
 - **Raw Source:** [[10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md]]