Antigravity Agent
3.9 KiB
3.9 KiB
category: Unified tags: [auto-consolidated, technical-documentation] title: LoRA (Low-Rank Adaptation) (저차원 적응) last_updated: 2026-05-02
LoRA (Low-Rank Adaptation) (저차원 적응)
📌 Brief Summary
"거대한 산을 옮기지 말고, 신발 밑창에 아주 얇은 깔창 하나만 덧대는 혁명." 수조 개의 파라미터를 가진 거대 모델 전체를 건드리지 않고, 아주 작은 추가 행렬(A, B)만 학습시켜 모델의 지식을 효율적으로 갱신하는 최신 튜닝 기법이다.
"거대한 뇌(Base Model)는 그대로 두고, 아주 얇은 신경 다발(Low-rank Matrices)만 덧붙여 새로운 기술을 가르쳐라" — 거대 언어 모델의 본래 가중치는 고정하고, 가중치 변화량(
\Delta W)을 두 개의 작은 행렬의 곱으로 분해하여 학습함으로써 파라미터 수를 10,000배 이상 줄이면서도 효과적인 미세 조정을 가능케 하는 기법.
📖 Core Content
- The Core Idea: 모델이 학습하며 변하는 가중치의 차이(
\Delta W)는 사실 '낮은 차원(Low intrinsic rank)'에 머물러 있다는 점에 착안함. - Mechanism:
- 기존 가중치 $W$는 얼려둔(Freeze) 채로, 옆에 두 개의 작은 행렬(
A \times B)을 둠. W_{new} = W + (A \times B).
- 기존 가중치 $W$는 얼려둔(Freeze) 채로, 옆에 두 개의 작은 행렬(
- Unbelievable Efficiency:
- 전체 파라미터의 0.01%만 학습해도 전체 튜닝과 유사한 성능을 냄.
- 수 기가바이트의 모델 대신 수 메가바이트의 'LoRA 가중치 파일'만 저장하고 공유하면 됨.
- 추출된 패턴: "Efficient Parameter Update" — 모델의 변화량이 실제로는 낮은 차원의 내재적 구조(Intrinsic Dimension)를 가진다는 통찰을 바탕으로, 전체를 다시 학습시키는 대신 핵심적인 변화만을 포착하여 효율적으로 지식을 이식하는 PEFT(Parameter-Efficient Fine-Tuning) 패턴.
- 작동 원리:
- Freezing: 기존 모델의 모든 가중치는 업데이트하지 않음.
- Low-Rank Decomposition: 업데이트할 가중치 행렬을
A \times B(순위 $r$이 매우 작은 행렬들)로 정의하여 학습. - Merging: 학습 완료 후, 훈련된 행렬을 기존 모델과 합쳐서 추론 지연 시간(Latency) 없이 사용 가능.
- 의의: 고사양 GPU 없이도 대규모 모델을 특정 도메인에 최적화할 수 있게 하여, 개인화된 AI 및 기업용 특화 모델 구축의 진입 장벽을 혁신적으로 낮춤.
⚖️ Trade-offs & Caveats
- LoRA는 효율적이지만, 대규모 멀티 모달 학습이나 근본적인 기초 지식 습득에는 전체 파인튜닝(Full Fine-tuning)보다 성능이 소폭 떨어질 수 있다. 이를 보완하기 위해 양자화 기술을 결합한 QLoRA가 등장하여, 일반 소비자용 그래픽카드 한 장으로도 거대 언어 모델을 튜닝하는 'AI 민주화'를 이끌고 있다.
- 과거 데이터와의 충돌: 성능을 위해서는 전체 미세 조정(Full Fine-tuning)이 필수라는 믿음을 깨고, LoRA만으로도 유사하거나 더 나은 성능을 낼 수 있음을 입증하며 현대 LLM 생태계의 표준 튜닝 기술로 자리 잡음.
- 정책 변화: Antigravity 프로젝트는 사용자의 특정 코딩 스타일이나 문서 양식을 에이전트에게 학습시킬 때, 원본 모델의 지능을 훼손하지 않고 효율적으로 학습하기 위해 LoRA 기술을 기본으로 사용함.
🔗 Knowledge Connections
- Related: Instruction-Tuning , Quantization (양자화)
- Variant: QLoRA (Quantized LoRA)
- LLM, Transfer-Learning-Foundations, Inference-Optimization, Local-Brain-Management
- Raw Source: 10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md