---
id: AI-LORA-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, llm, lora, peft, fine-tuning, model-optimization]
last_reinforced: 2026-04-26
---

# Low-Rank Adaptation (LoRA, 저순위 적응)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "거대한 뇌(Base Model)는 그대로 두고, 아주 얇은 신경 다발(Low-rank Matrices)만 덧붙여 새로운 기술을 가르쳐라" — 거대 언어 모델의 본래 가중치는 고정하고, 가중치 변화량($\Delta W$)을 두 개의 작은 행렬의 곱으로 분해하여 학습함으로써 파라미터 수를 10,000배 이상 줄이면서도 효과적인 미세 조정을 가능케 하는 기법.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Efficient Parameter Update" — 모델의 변화량이 실제로는 낮은 차원의 내재적 구조(Intrinsic Dimension)를 가진다는 통찰을 바탕으로, 전체를 다시 학습시키는 대신 핵심적인 변화만을 포착하여 효율적으로 지식을 이식하는 PEFT(Parameter-Efficient Fine-Tuning) 패턴.
- **작동 원리:**
    - **Freezing:** 기존 모델의 모든 가중치는 업데이트하지 않음.
    - **Low-Rank Decomposition:** 업데이트할 가중치 행렬을 $A \times B$ (순위 $r$이 매우 작은 행렬들)로 정의하여 학습.
    - **Merging:** 학습 완료 후, 훈련된 행렬을 기존 모델과 합쳐서 추론 지연 시간(Latency) 없이 사용 가능.
- **의의:** 고사양 GPU 없이도 대규모 모델을 특정 도메인에 최적화할 수 있게 하여, 개인화된 AI 및 기업용 특화 모델 구축의 진입 장벽을 혁신적으로 낮춤.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 성능을 위해서는 전체 미세 조정(Full Fine-tuning)이 필수라는 믿음을 깨고, LoRA만으로도 유사하거나 더 나은 성능을 낼 수 있음을 입증하며 현대 LLM 생태계의 표준 튜닝 기술로 자리 잡음.
- **정책 변화:** Antigravity 프로젝트는 사용자의 특정 코딩 스타일이나 문서 양식을 에이전트에게 학습시킬 때, 원본 모델의 지능을 훼손하지 않고 효율적으로 학습하기 위해 LoRA 기술을 기본으로 사용함.

## 🔗 지식 연결 (Graph)
- [[LLM|LLM]], Transfer-Learning-Foundations, [[Inference-Optimization|Inference-Optimization]], [[Local-Brain-Management|Local-Brain-Management]]
- **Raw Source:** 10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md