Antigravity Agent
29 lines
2.0 KiB
Markdown
29 lines
2.0 KiB
Markdown
---
|
|
id: LORA-001
|
|
category: "[[10_Wiki/💡 Topics/AI]]"
|
|
confidence_score: 1.0
|
|
tags: [ai, fine-tuning, lora, deep-learning, efficiency]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# [[Low-Rank Adaptation (LoRA, 저순위 어댑션)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "모델 전체를 건드리지 말고, 작은 '날개'만 달아서 성능을 바꿔라" — 거대 모델의 기존 가중치는 고정한 채, 아주 작은 크기의 행렬 두 개만을 추가하여 학습시킴으로써 적은 비용으로 파인튜닝 효과를 내는 혁신적인 효율화 기법.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** 거대 행렬의 변화량을 낮은 순위(Low-rank)의 두 행렬곱으로 분해하여 표현함으로써, 학습해야 할 파라미터 수를 10,000배 이상 줄이면서도 성능을 유지하는 패턴.
|
|
- **세부 내용:**
|
|
- **Frozen Backbone:** 원본 모델의 가중치는 절대 변경하지 않음 (Catastrophic Forgetting 방지).
|
|
- **A & B Matrices:** 모델의 어텐션 층 등에 추가되는 아주 얇은 행렬들. 이 부분만 학습이 진행됨.
|
|
- **Merge & Deploy:** 학습 완료 후 두 행렬을 곱해 원본 가중치에 더하면 추가 연산 비용 없이 추론 가능.
|
|
- **Storage Efficiency:** 수십 GB의 전체 모델 대신 수십 MB의 LoRA 가중치 파일만 저장하면 되므로 배포가 매우 용이.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 고성능 GPU 수십 대가 필요했던 파인튜닝을 일반 데스크톱 한 대로도 가능하게 만들며 AI 민주화에 기여.
|
|
- **정책 변화:** Antigravity 프로젝트는 특정 도메인 특화 모델 생성 시 LoRA 기법을 기본으로 사용하며, '브레인 프로필' 단위로 LoRA 가중치를 관리함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Fine-Tuning]], [[Linear-Algebra-for-ML]], [[Parameter-Efficient-Fine-Tuning]], [[LLM]]
|
|
- **Raw Source:** [[10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md]]
|