Antigravity Agent
57 lines
4.2 KiB
Markdown
57 lines
4.2 KiB
Markdown
---
|
|
category: Unified
|
|
tags: [auto-consolidated, technical-documentation]
|
|
title: PEFT (Parameter-Efficient Fine-Tuning)
|
|
last_updated: 2026-05-02
|
|
---
|
|
|
|
# PEFT (Parameter-Efficient Fine-Tuning)
|
|
|
|
## 📌 Brief Summary
|
|
> "전봇대를 다 바꾸는 대신 전구만 바꾼다: 거대 모델의 전체 파라미터를 건드리지 않고, 극히 일부(1% 미만)만 학습시켜 하드웨어 부담 없이 전문 지식을 주입하는 효율 극대화 기술."
|
|
|
|
---
|
|
|
|
> "전체 가중치를 다 바꾸지 않고도 모델의 전문성을 극대화하라" — 거대 모델의 대부분 가중치는 고정한 채, 아주 적은 수의 추가 파라미터나 일부 레이어만 학습시켜 성능 효율과 비용을 동시에 잡는 튜닝 전략.
|
|
|
|
## 📖 Core Content
|
|
매개변수 효율적 미세 조정(PEFT)은 거대 언어 모델(LLM)을 특정 작업에 맞춰 최적화할 때, 전체 가중치를 업데이트하는 대신 소량의 추가 파라미터만 학습시키는 방법론입니다.
|
|
|
|
1. **주요 기법**:
|
|
* **[[LoRA (Low-Rank Adaptation)|LoRA (Low-Rank Adaptation)]]**: 가중치 행렬의 변화량을 낮은 차원의 두 행렬(A, B)로 분해하여 학습. 가장 대중적인 기법으로 연산량과 메모리를 획기적으로 절감.
|
|
* **Adapters**: 기존 모델 레이어 사이에 작은 신경망(Adapter)을 끼워 넣어 해당 부분만 학습.
|
|
* **prompt Tuning / Prefix Tuning**: 모델 입력 앞단에 학습 가능한 가상의 '소프트 프롬프트' 벡터를 추가하여 튜닝.
|
|
2. **핵심 이점**:
|
|
* **GPU 메모리 절약**: 하이엔드 서버 없이도 소비자용 GPU에서 거대 모델 튜닝 가능.
|
|
* **파라미터 사일로 방지**: 각 작업마다 거대 모델을 통째로 저장할 필요 없이, 작은 PEFT 모듈(체크포인트)만 저장하여 교체하며 사용 가능.
|
|
* **Catastrophic Forgetting 방지**: 원본 가중치가 고정되므로 모델의 기반 지식이 무너지지 않음.
|
|
|
|
---
|
|
|
|
- **추출된 패턴:** 모델의 핵심 지식(Pre-trained weights)은 보존하면서, 특정 태스크에 필요한 미세한 조정값만을 효율적으로 학습하여 배포하는 패턴.
|
|
- **주요 기법:**
|
|
- **[[LoRA (Low-Rank Adaptation)|LoRA (Low-Rank Adaptation)]]:** 가중치 행렬의 변화량을 저순위 행렬곱으로 근사하여 학습.
|
|
- **Prefix Tuning:** 입력 데이터 앞에 학습 가능한 가상 토큰(Prefix)을 추가하여 모델의 거동 제어.
|
|
- **Adapter Modules:** 기존 레이어 사이에 아주 작은 신경망 층을 삽입하여 해당 부분만 학습.
|
|
- **prompt Tuning:** 프롬프트 자체를 벡터 형태로 학습하여 최적의 지시어를 찾음.
|
|
- **장점:** 연산량 급감, 모델 저장 공간 절약(MB 단위), 여러 태스크에 대한 어댑터를 독립적으로 관리 가능.
|
|
|
|
## ⚖️ Trade-offs & Caveats
|
|
- **과거 데이터와의 충돌**: 초기에는 "일부만 학습하면 성능이 떨어질 것"이라는 우려가 있었으나, 연구 결과 전체 튜닝(Full Fine-tuning)과 대등하거나 오히려 특정 작업에서는 과적합을 막아 더 나은 성능을 냄이 증명됨.
|
|
- **정책 변화(RL Update)**: 기업 보안 정책 상 '클라우드 API'를 쓰기 힘든 환경에서, 사내 데이터로 로컬 모델을 안전하고 저비용으로 튜닝하는 'On-premise PEFT'가 데이터 거버넌스의 핵심 전략으로 부상함.
|
|
|
|
---
|
|
|
|
- **과거 데이터와의 충돌:** 모든 파라미터를 다시 학습시키던 Full Fine-tuning에서, 자원 효율성이 강조되는 PEFT 중심으로 산업계 표준이 이동.
|
|
- **정책 변화:** Antigravity 프로젝트는 새로운 위키 도메인 학습 시 PEFT(특히 LoRA)를 기본 사양으로 채택하여 하드웨어 비용을 90% 이상 절감함.
|
|
|
|
## 🔗 Knowledge Connections
|
|
- **Related**: [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]], Foundational Models, [[Transfer Learning|Transfer Learning]], [[Large Language Models (LLM)|Large Language Models (LLM)]]
|
|
- **Modern Tech/Tools**: HuggingFace PEFT library, LoRA, QLoRA.
|
|
---
|
|
|
|
---
|
|
|
|
- [[Low-Rank-Adaptation-LoRA|Low-Rank-Adaptation-LoRA]], [[Fine-tuning|Fine-Tuning]], [[LLM|LLM]], Transfer-Learning
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Parameter-Efficient Fine-Tuning (PEFT).md
|