2nd/10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
LORA-001	10_Wiki/💡 Topics/AI	1.0	ai fine-tuning lora deep-learning efficiency	2026-04-26

Low-Rank Adaptation (LoRA, 저순위 어댑션)

📌 한 줄 통찰 (The Karpathy Summary)

"모델 전체를 건드리지 말고, 작은 '날개'만 달아서 성능을 바꿔라" — 거대 모델의 기존 가중치는 고정한 채, 아주 작은 크기의 행렬 두 개만을 추가하여 학습시킴으로써 적은 비용으로 파인튜닝 효과를 내는 혁신적인 효율화 기법.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 거대 행렬의 변화량을 낮은 순위(Low-rank)의 두 행렬곱으로 분해하여 표현함으로써, 학습해야 할 파라미터 수를 10,000배 이상 줄이면서도 성능을 유지하는 패턴.
• 세부 내용:
  • Frozen Backbone: 원본 모델의 가중치는 절대 변경하지 않음 (Catastrophic Forgetting 방지).
  • A & B Matrices: 모델의 어텐션 층 등에 추가되는 아주 얇은 행렬들. 이 부분만 학습이 진행됨.
  • Merge & Deploy: 학습 완료 후 두 행렬을 곱해 원본 가중치에 더하면 추가 연산 비용 없이 추론 가능.
  • Storage Efficiency: 수십 GB의 전체 모델 대신 수십 MB의 LoRA 가중치 파일만 저장하면 되므로 배포가 매우 용이.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 고성능 GPU 수십 대가 필요했던 파인튜닝을 일반 데스크톱 한 대로도 가능하게 만들며 AI 민주화에 기여.
• 정책 변화: Antigravity 프로젝트는 특정 도메인 특화 모델 생성 시 LoRA 기법을 기본으로 사용하며, '브레인 프로필' 단위로 LoRA 가중치를 관리함.

🔗 지식 연결 (Graph)

• Fine-Tuning, Linear-Algebra-for-ML, Parameter-Efficient-Fine-Tuning, LLM
• Raw Source: 10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md