---
id: [[P-Reinforce|P-Reinforce]]-AUTO-PELR-001
category: Unified
confidence_score: 1.00
tags: [auto-reinforced, peft, lora, qlora, fine-tuning-optimization, vram-efficiency]
last_reinforced: 2026-05-04
---

# [[PEFT & LoRA|PEFT & LoRA]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "최소한의 변경으로 최대의 효과: 거대 모델의 수십억 개 파라미터를 전부 건드리는 대신, 아주 작은 어댑터(Adapter)만 학습시켜 개인용 PC에서도 최신 AI를 튜닝할 수 있게 만든 효율성의 극치."

## 📖 구조화된 지식 (Synthesized Content)
PEFT(Parameter-Efficient Fine-Tuning)는 모델의 전체 가중치를 업데이트하지 않고 극히 일부의 파라미터만 학습시키는 미세 조정 기술의 총칭입니다.

1.  **LoRA (Low-Rank Adaptation)**:
    *   **원리**: 모델의 가중치 행렬($W$)을 그대로 두는 대신, 두 개의 작은 저차원 행렬($A, B$)의 곱으로 표현되는 변화량($\Delta W$)만 학습합니다.
    *   **장점**: 학습 파라미터 수를 10,000배 이상 줄이면서도 전체 가중치 미세 조정과 대등한 성능을 냅니다. 학습 후 기존 모델에 쉽게 병합(Merge)할 수 있습니다.
2.  **QLoRA (Quantized LoRA)**:
    *   **원리**: 기본 모델을 4비트로 양자화(Quantization)하여 VRAM에 올리고, 그 위에 LoRA를 적용합니다.
    *   **의의**: 단일 24GB GPU(RTX 3090/4090)에서도 65B(650억 개 파라미터) 이상의 거대 모델을 미세 조정할 수 있게 한 혁신적 기술입니다.
3.  **기타 PEFT 기법**:
    *   **Prefix Tuning**: 입력 앞에 학습 가능한 가상 토큰(Prefix)을 추가합니다.
    *   **Prompt Tuning**: 프롬프트의 임베딩 공간 일부를 학습 가능하게 만듭니다.
    *   **Adapter Tuning**: 기존 트랜스포머 레이어 사이에 작은 병목 레이어를 삽입합니다.

## ⚖️ Trade-offs & Caveats
*   **추론 지연**: 어댑터(Adapter) 방식의 경우 추론 시 추가 연산이 필요하여 속도가 소폭 느려질 수 있습니다 (LoRA는 병합을 통해 해결 가능).
*   **복잡한 작업의 한계**: 아주 방대하거나 복잡한 지식을 새롭게 주입해야 하는 경우, 전체 가중치 미세 조정(Full Fine-Tuning)에 비해 성능이 다소 떨어질 수 있습니다.

## 🔗 지식 연결 (Graph)
*   **상위 개념**: [[Fine-Tuning & Alignment|Fine-Tuning & Alignment]]
*   **연관 기술**: [[Quantization|Quantization]], [[LLM Architecture|LLM Architecture]]
*   **주요 라이브러리**: Hugging Face PEFT, Unsloth, Axolotl

---
*Last updated: 2026-05-04*