PEFT (Parameter-Efficient Fine-Tuning)

📌 Brief Summary

"전봇대를 다 바꾸는 대신 전구만 바꾼다: 거대 모델의 전체 파라미터를 건드리지 않고, 극히 일부(1% 미만)만 학습시켜 하드웨어 부담 없이 전문 지식을 주입하는 효율 극대화 기술."

"전체 가중치를 다 바꾸지 않고도 모델의 전문성을 극대화하라" — 거대 모델의 대부분 가중치는 고정한 채, 아주 적은 수의 추가 파라미터나 일부 레이어만 학습시켜 성능 효율과 비용을 동시에 잡는 튜닝 전략.

매개변수 효율적 미세 조정(PEFT)은 거대 언어 모델(LLM)을 특정 작업에 맞춰 최적화할 때, 전체 가중치를 업데이트하는 대신 소량의 추가 파라미터만 학습시키는 방법론입니다.

주요 기법:
- LoRA (Low-Rank Adaptation): 가중치 행렬의 변화량을 낮은 차원의 두 행렬(A, B)로 분해하여 학습. 가장 대중적인 기법으로 연산량과 메모리를 획기적으로 절감.
- Adapters: 기존 모델 레이어 사이에 작은 신경망(Adapter)을 끼워 넣어 해당 부분만 학습.
- prompt Tuning / Prefix Tuning: 모델 입력 앞단에 학습 가능한 가상의 '소프트 프롬프트' 벡터를 추가하여 튜닝.
핵심 이점:
- GPU 메모리 절약: 하이엔드 서버 없이도 소비자용 GPU에서 거대 모델 튜닝 가능.
- 파라미터 사일로 방지: 각 작업마다 거대 모델을 통째로 저장할 필요 없이, 작은 PEFT 모듈(체크포인트)만 저장하여 교체하며 사용 가능.
- Catastrophic Forgetting 방지: 원본 가중치가 고정되므로 모델의 기반 지식이 무너지지 않음.

추출된 패턴: 모델의 핵심 지식(Pre-trained weights)은 보존하면서, 특정 태스크에 필요한 미세한 조정값만을 효율적으로 학습하여 배포하는 패턴.
주요 기법:
- LoRA (Low-Rank Adaptation): 가중치 행렬의 변화량을 저순위 행렬곱으로 근사하여 학습.
- Prefix Tuning: 입력 데이터 앞에 학습 가능한 가상 토큰(Prefix)을 추가하여 모델의 거동 제어.
- Adapter Modules: 기존 레이어 사이에 아주 작은 신경망 층을 삽입하여 해당 부분만 학습.
- prompt Tuning: 프롬프트 자체를 벡터 형태로 학습하여 최적의 지시어를 찾음.
장점: 연산량 급감, 모델 저장 공간 절약(MB 단위), 여러 태스크에 대한 어댑터를 독립적으로 관리 가능.

과거 데이터와의 충돌: 초기에는 "일부만 학습하면 성능이 떨어질 것"이라는 우려가 있었으나, 연구 결과 전체 튜닝(Full Fine-tuning)과 대등하거나 오히려 특정 작업에서는 과적합을 막아 더 나은 성능을 냄이 증명됨.
정책 변화(RL Update): 기업 보안 정책 상 '클라우드 API'를 쓰기 힘든 환경에서, 사내 데이터로 로컬 모델을 안전하고 저비용으로 튜닝하는 'On-premise PEFT'가 데이터 거버넌스의 핵심 전략으로 부상함.

과거 데이터와의 충돌: 모든 파라미터를 다시 학습시키던 Full Fine-tuning에서, 자원 효율성이 강조되는 PEFT 중심으로 산업계 표준이 이동.
정책 변화: Antigravity 프로젝트는 새로운 위키 도메인 학습 시 PEFT(특히 LoRA)를 기본 사양으로 채택하여 하드웨어 비용을 90% 이상 절감함.

Related: SFT (Supervised Fine-Tuning), Foundational Models, Transfer Learning, Large Language Models (LLM)
Modern Tech/Tools: HuggingFace PEFT library, LoRA, QLoRA.