PEFT (Parameter-Efficient Fine-Tuning)

📌 한 줄 통찰 (The Karpathy Summary)

"전봇대를 다 바꾸는 대신 전구만 바꾼다: 거대 모델의 전체 파라미터를 건드리지 않고, 극히 일부(1% 미만)만 학습시켜 하드웨어 부담 없이 전문 지식을 주입하는 효율 극대화 기술."

매개변수 효율적 미세 조정(PEFT)은 거대 언어 모델(LLM)을 특정 작업에 맞춰 최적화할 때, 전체 가중치를 업데이트하는 대신 소량의 추가 파라미터만 학습시키는 방법론입니다.

주요 기법:
- LoRA (Low-Rank Adaptation): 가중치 행렬의 변화량을 낮은 차원의 두 행렬(A, B)로 분해하여 학습. 가장 대중적인 기법으로 연산량과 메모리를 획기적으로 절감.
- Adapters: 기존 모델 레이어 사이에 작은 신경망(Adapter)을 끼워 넣어 해당 부분만 학습.
- Prompt Tuning / Prefix Tuning: 모델 입력 앞단에 학습 가능한 가상의 '소프트 프롬프트' 벡터를 추가하여 튜닝.
핵심 이점:
- GPU 메모리 절약: 하이엔드 서버 없이도 소비자용 GPU에서 거대 모델 튜닝 가능.
- 파라미터 사일로 방지: 각 작업마다 거대 모델을 통째로 저장할 필요 없이, 작은 PEFT 모듈(체크포인트)만 저장하여 교체하며 사용 가능.
- Catastrophic Forgetting 방지: 원본 가중치가 고정되므로 모델의 기반 지식이 무너지지 않음.

과거 데이터와의 충돌: 초기에는 "일부만 학습하면 성능이 떨어질 것"이라는 우려가 있었으나, 연구 결과 전체 튜닝(Full Fine-tuning)과 대등하거나 오히려 특정 작업에서는 과적합을 막아 더 나은 성능을 냄이 증명됨.
정책 변화(RL Update): 기업 보안 정책 상 '클라우드 API'를 쓰기 힘든 환경에서, 사내 데이터로 로컬 모델을 안전하고 저비용으로 튜닝하는 'On-premise PEFT'가 데이터 거버넌스의 핵심 전략으로 부상함.

Related: SFT (Supervised Fine-Tuning), Foundational Models, Transfer Learning, Large Language Models (LLM)
Modern Tech/Tools: HuggingFace PEFT library, LoRA, QLoRA.