Antigravity Agent
2.6 KiB
2.6 KiB
id: P-Reinforce-AUTO-PELR-001 category: Unified confidence_score: 1.00 tags: [auto-reinforced, peft, lora, qlora, fine-tuning-optimization, vram-efficiency] last_reinforced: 2026-05-04
PEFT & LoRA
📌 한 줄 통찰 (The Karpathy Summary)
"최소한의 변경으로 최대의 효과: 거대 모델의 수십억 개 파라미터를 전부 건드리는 대신, 아주 작은 어댑터(Adapter)만 학습시켜 개인용 PC에서도 최신 AI를 튜닝할 수 있게 만든 효율성의 극치."
📖 구조화된 지식 (Synthesized Content)
PEFT(Parameter-Efficient Fine-Tuning)는 모델의 전체 가중치를 업데이트하지 않고 극히 일부의 파라미터만 학습시키는 미세 조정 기술의 총칭입니다.
- LoRA (Low-Rank Adaptation):
- 원리: 모델의 가중치 행렬(
W)을 그대로 두는 대신, 두 개의 작은 저차원 행렬(A, B)의 곱으로 표현되는 변화량(\Delta W)만 학습합니다. - 장점: 학습 파라미터 수를 10,000배 이상 줄이면서도 전체 가중치 미세 조정과 대등한 성능을 냅니다. 학습 후 기존 모델에 쉽게 병합(Merge)할 수 있습니다.
- 원리: 모델의 가중치 행렬(
- QLoRA (Quantized LoRA):
- 원리: 기본 모델을 4비트로 양자화(Quantization)하여 VRAM에 올리고, 그 위에 LoRA를 적용합니다.
- 의의: 단일 24GB GPU(RTX 3090/4090)에서도 65B(650억 개 파라미터) 이상의 거대 모델을 미세 조정할 수 있게 한 혁신적 기술입니다.
- 기타 PEFT 기법:
- Prefix Tuning: 입력 앞에 학습 가능한 가상 토큰(Prefix)을 추가합니다.
- Prompt Tuning: 프롬프트의 임베딩 공간 일부를 학습 가능하게 만듭니다.
- Adapter Tuning: 기존 트랜스포머 레이어 사이에 작은 병목 레이어를 삽입합니다.
⚖️ Trade-offs & Caveats
- 추론 지연: 어댑터(Adapter) 방식의 경우 추론 시 추가 연산이 필요하여 속도가 소폭 느려질 수 있습니다 (LoRA는 병합을 통해 해결 가능).
- 복잡한 작업의 한계: 아주 방대하거나 복잡한 지식을 새롭게 주입해야 하는 경우, 전체 가중치 미세 조정(Full Fine-Tuning)에 비해 성능이 다소 떨어질 수 있습니다.
🔗 지식 연결 (Graph)
- 상위 개념: Fine-Tuning & Alignment
- 연관 기술: Quantization, LLM Architecture
- 주요 라이브러리: Hugging Face PEFT, Unsloth, Axolotl
Last updated: 2026-05-04