feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

This commit is contained in:
2026-05-08 19:52:07 +09:00
parent 9dd3d40662
commit 5ba5a55c78
3984 changed files with 334557 additions and 28839 deletions
@@ -1,56 +1,25 @@
---
category: Unified
tags: [auto-consolidated, technical-documentation]
title: PEFT (Parameter-Efficient Fine-Tuning)
last_updated: 2026-05-02
id: wiki-20260508-peft-parameter-efficient-fine-tu-redir
title: PEFT (Parameter Efficient Fine Tuning)
category: AI_and_ML
status: merged
redirect_to: PEFT (Parameter-Efficient Fine-Tuning)
canonical_id: PEFT (Parameter-Efficient Fine-Tuning)
aliases: []
duplicate_of: none
source_trust_level: A
confidence_score: 0.92
tags: [redirect]
raw_sources: []
last_reinforced: 2026-05-08
github_commit: pending
inferred_by: Claude Opus 4.7 (auto-merge 2026-05-08)
---
# PEFT (Parameter-Efficient Fine-Tuning)
# PEFT (Parameter Efficient Fine Tuning)
## 📌 Brief Summary
> "전봇대를 다 바꾸는 대신 전구만 바꾼다: 거대 모델의 전체 파라미터를 건드리지 않고, 극히 일부(1% 미만)만 학습시켜 하드웨어 부담 없이 전문 지식을 주입하는 효율 극대화 기술."
> [!IMPORTANT]
> 이 문서는 P-Reinforce Phase 2 자동 MERGE에 의해 **[[PEFT (Parameter-Efficient Fine-Tuning)]]**로 통합되었습니다.
---
> "전체 가중치를 다 바꾸지 않고도 모델의 전문성을 극대화하라" — 거대 모델의 대부분 가중치는 고정한 채, 아주 적은 수의 추가 파라미터나 일부 레이어만 학습시켜 성능 효율과 비용을 동시에 잡는 튜닝 전략.
## 📖 Core Content
매개변수 효율적 미세 조정(PEFT)은 거대 언어 모델(LLM)을 특정 작업에 맞춰 최적화할 때, 전체 가중치를 업데이트하는 대신 소량의 추가 파라미터만 학습시키는 방법론입니다.
1. **주요 기법**:
* **[[LoRA (Low-Rank Adaptation)|LoRA (Low-Rank Adaptation)]]**: 가중치 행렬의 변화량을 낮은 차원의 두 행렬(A, B)로 분해하여 학습. 가장 대중적인 기법으로 연산량과 메모리를 획기적으로 절감.
* **Adapters**: 기존 모델 레이어 사이에 작은 신경망(Adapter)을 끼워 넣어 해당 부분만 학습.
* **prompt Tuning / Prefix Tuning**: 모델 입력 앞단에 학습 가능한 가상의 '소프트 프롬프트' 벡터를 추가하여 튜닝.
2. **핵심 이점**:
* **GPU 메모리 절약**: 하이엔드 서버 없이도 소비자용 GPU에서 거대 모델 튜닝 가능.
* **파라미터 사일로 방지**: 각 작업마다 거대 모델을 통째로 저장할 필요 없이, 작은 PEFT 모듈(체크포인트)만 저장하여 교체하며 사용 가능.
* **Catastrophic Forgetting 방지**: 원본 가중치가 고정되므로 모델의 기반 지식이 무너지지 않음.
---
- **추출된 패턴:** 모델의 핵심 지식(Pre-trained weights)은 보존하면서, 특정 태스크에 필요한 미세한 조정값만을 효율적으로 학습하여 배포하는 패턴.
- **주요 기법:**
- **[[LoRA (Low-Rank Adaptation)|LoRA (Low-Rank Adaptation)]]:** 가중치 행렬의 변화량을 저순위 행렬곱으로 근사하여 학습.
- **Prefix Tuning:** 입력 데이터 앞에 학습 가능한 가상 토큰(Prefix)을 추가하여 모델의 거동 제어.
- **Adapter Modules:** 기존 레이어 사이에 아주 작은 신경망 층을 삽입하여 해당 부분만 학습.
- **prompt Tuning:** 프롬프트 자체를 벡터 형태로 학습하여 최적의 지시어를 찾음.
- **장점:** 연산량 급감, 모델 저장 공간 절약(MB 단위), 여러 태스크에 대한 어댑터를 독립적으로 관리 가능.
## ⚖️ Trade-offs & Caveats
- **과거 데이터와의 충돌**: 초기에는 "일부만 학습하면 성능이 떨어질 것"이라는 우려가 있었으나, 연구 결과 전체 튜닝(Full Fine-tuning)과 대등하거나 오히려 특정 작업에서는 과적합을 막아 더 나은 성능을 냄이 증명됨.
- **정책 변화(RL Update)**: 기업 보안 정책 상 '클라우드 API'를 쓰기 힘든 환경에서, 사내 데이터로 로컬 모델을 안전하고 저비용으로 튜닝하는 'On-premise PEFT'가 데이터 거버넌스의 핵심 전략으로 부상함.
---
- **과거 데이터와의 충돌:** 모든 파라미터를 다시 학습시키던 Full Fine-tuning에서, 자원 효율성이 강조되는 PEFT 중심으로 산업계 표준이 이동.
- **정책 변화:** Antigravity 프로젝트는 새로운 위키 도메인 학습 시 PEFT(특히 LoRA)를 기본 사양으로 채택하여 하드웨어 비용을 90% 이상 절감함.
## 🔗 Knowledge Connections
- **Related**: [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]], Foundational Models, [[Transfer Learning|Transfer Learning]], [[Large Language Models (LLM)|Large Language Models (LLM)]]
- **Modern Tech/Tools**: HuggingFace PEFT library, LoRA, QLoRA.
---
---
- [[Low-Rank-Adaptation-LoRA|Low-Rank-Adaptation-LoRA]], [[Fine-tuning|Fine-Tuning]], [[LLM|LLM]], Transfer-Learning
- **Raw Source:** 10_Wiki/Topics/AI/Parameter-Efficient Fine-Tuning (PEFT).md
*Redirected to: [[PEFT (Parameter-Efficient Fine-Tuning)]]*