2nd/10_Wiki/Topics/LoRA (Low-Rank Adaptation).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-LORA	10_Wiki/💡 Topics/AI	1.00	AI LLM LoRA FineTuning Efficiency	2026-04-20

LoRA (Low-Rank Adaptation) (저차원 적응)

📌 한 줄 통찰 (The Karpathy Summary)

"거대한 산을 옮기지 말고, 신발 밑창에 아주 얇은 깔창 하나만 덧대는 혁명." 수조 개의 파라미터를 가진 거대 모델 전체를 건드리지 않고, 아주 작은 추가 행렬(A, B)만 학습시켜 모델의 지식을 효율적으로 갱신하는 최신 튜닝 기법이다.

📖 구조화된 지식 (Synthesized Content)

• The Core Idea: 모델이 학습하며 변하는 가중치의 차이(\Delta W)는 사실 '낮은 차원(Low intrinsic rank)'에 머물러 있다는 점에 착안함.
• Mechanism:
  • 기존 가중치 $W$는 얼려둔(Freeze) 채로, 옆에 두 개의 작은 행렬(A \times B)을 둠.
  • W_{new} = W + (A \times B).
• Unbelievable Efficiency:
  • 전체 파라미터의 0.01%만 학습해도 전체 튜닝과 유사한 성능을 냄.
  • 수 기가바이트의 모델 대신 수 메가바이트의 'LoRA 가중치 파일'만 저장하고 공유하면 됨.

⚠️ 모순 및 업데이트 (RL Update)

• LoRA는 효율적이지만, 대규모 멀티 모달 학습이나 근본적인 기초 지식 습득에는 전체 파인튜닝(Full Fine-tuning)보다 성능이 소폭 떨어질 수 있다. 이를 보완하기 위해 양자화 기술을 결합한 QLoRA가 등장하여, 일반 소비자용 그래픽카드 한 장으로도 거대 언어 모델을 튜닝하는 'AI 민주화'를 이끌고 있다.

🔗 지식 연결 (Graph)

• Related: Instruction-Tuning , Quantization (양자화)
• Variant: QLoRA (Quantized LoRA)