2.4 KiB
2.4 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AI-LORA-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Low-Rank Adaptation (LoRA, 저순위 적응)
📌 한 줄 통찰 (The Karpathy Summary)
"거대한 뇌(Base Model)는 그대로 두고, 아주 얇은 신경 다발(Low-rank Matrices)만 덧붙여 새로운 기술을 가르쳐라" — 거대 언어 모델의 본래 가중치는 고정하고, 가중치 변화량(
\Delta W)을 두 개의 작은 행렬의 곱으로 분해하여 학습함으로써 파라미터 수를 10,000배 이상 줄이면서도 효과적인 미세 조정을 가능케 하는 기법.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: "Efficient Parameter Update" — 모델의 변화량이 실제로는 낮은 차원의 내재적 구조(Intrinsic Dimension)를 가진다는 통찰을 바탕으로, 전체를 다시 학습시키는 대신 핵심적인 변화만을 포착하여 효율적으로 지식을 이식하는 PEFT(Parameter-Efficient Fine-Tuning) 패턴.
- 작동 원리:
- Freezing: 기존 모델의 모든 가중치는 업데이트하지 않음.
- Low-Rank Decomposition: 업데이트할 가중치 행렬을
A \times B(순위 $r$이 매우 작은 행렬들)로 정의하여 학습. - Merging: 학습 완료 후, 훈련된 행렬을 기존 모델과 합쳐서 추론 지연 시간(Latency) 없이 사용 가능.
- 의의: 고사양 GPU 없이도 대규모 모델을 특정 도메인에 최적화할 수 있게 하여, 개인화된 AI 및 기업용 특화 모델 구축의 진입 장벽을 혁신적으로 낮춤.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 성능을 위해서는 전체 미세 조정(Full Fine-tuning)이 필수라는 믿음을 깨고, LoRA만으로도 유사하거나 더 나은 성능을 낼 수 있음을 입증하며 현대 LLM 생태계의 표준 튜닝 기술로 자리 잡음.
- 정책 변화: Antigravity 프로젝트는 사용자의 특정 코딩 스타일이나 문서 양식을 에이전트에게 학습시킬 때, 원본 모델의 지능을 훼손하지 않고 효율적으로 학습하기 위해 LoRA 기술을 기본으로 사용함.
🔗 지식 연결 (Graph)
- LLM, Transfer-Learning-Foundations, Inference-Optimization, Local-Brain-Management
- Raw Source: 10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md