Antigravity Agent
33 lines
2.7 KiB
Markdown
33 lines
2.7 KiB
Markdown
---
|
|
id: PREI-AUTO-SOFT-PROM-001
|
|
category: Unified
|
|
confidence_score: 0.96
|
|
tags: [auto-reinforced, [[Soft-Prompt-Compression|Soft-Prompt-Compression]], prompt-tuning, context-optimization, [[E2LLM|E2LLM]], efficiency]
|
|
last_reinforced: 2026-05-05
|
|
---
|
|
|
|
# [[Soft-Prompt-Compression|소프트 프롬프트 압축 (Soft Prompt Compression)]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "긴 문장을 짧은 벡터 '알약'으로 농축하여, 모델이 방대한 양의 맥락을 적은 비용으로도 선명하게 기억하도록 만드는 디지털 요약술."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
소프트 프롬프트 압축은 사람이 읽을 수 있는 텍스트 프롬프트를 AI 모델이 직접 이해할 수 있는 고밀도의 임베딩 벡터(Soft Prompt)로 변환하여 처리 효율을 높이는 기술입니다.
|
|
|
|
1. **압축 메커니즘**:
|
|
* 긴 시퀀스를 여러 청크로 나누고, [[E2LLM|E2LLM]]과 같은 프레임워크를 사용하여 각 청크의 정보를 단일 또는 소수의 벡터 토큰으로 응축.
|
|
* 이 과정에서 불필요한 토큰 중복을 제거하고 핵심적인 의미론적 패턴(Semantic Pattern)만 남김.
|
|
2. **연산 비용 절감**:
|
|
* 입력 토큰 수가 비약적으로 줄어들기 때문에, [[Attention-Mechanism|어텐션 메커니즘]]의 연산량($O(N^2)$)을 획기적으로 감소시켜 긴 맥락 처리를 가능하게 함.
|
|
3. **지식의 내재화**:
|
|
* 자주 사용되는 지시사항이나 지식 베이스를 소프트 프롬프트로 미리 압축해 두면, 매번 긴 텍스트를 입력할 필요 없이 해당 벡터만 주입하여 즉각적인 추론 수행 가능.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **밀도와 해상도의 상충 (RL Update)**: 압축률을 높일수록 처리 속도는 빨라지지만, 미세한 디테일이 손실되는 '해상도 저하' 현상이 발생함. Antigravity의 정책은 전체 흐름 파악에는 고압축 소프트 프롬프트를, 정밀 인출에는 [[RAG|RAG]]를 병행하는 하이브리드 인지 아키텍처를 지향함.
|
|
- **최신 기술 트렌드**: 최근에는 [[Mamba|Mamba]]와 같은 SSM 구조가 자체적으로 정보를 고정된 상태 벡터에 압축하는 방식을 취하므로, 소프트 프롬프트 압축 기술은 이러한 차세대 아키텍처와 융합되는 추세임.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[In-context-Learning|In-context-Learning]], [[E2LLM|E2LLM]], [[Attention-Mechanism|Attention-Mechanism]], [[RAG|RAG]], [[GPU-Memory-Hierarchy|GPU-Memory-Hierarchy]] (물리적 가속)
|
|
- **Raw Source**: Datacollector_MAC/out_wiki/소프트 프롬프트 압축 (Soft Prompt Compression).md
|
|
---
|