Antigravity Agent
2.7 KiB
2.7 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| PREI-AUTO-SOFT-PROM-001 | Unified | 0.96 |
|
2026-05-05 |
Soft-Prompt-Compression
📌 한 줄 통찰 (The Karpathy Summary)
"긴 문장을 짧은 벡터 '알약'으로 농축하여, 모델이 방대한 양의 맥락을 적은 비용으로도 선명하게 기억하도록 만드는 디지털 요약술."
📖 구조화된 지식 (Synthesized Content)
소프트 프롬프트 압축은 사람이 읽을 수 있는 텍스트 프롬프트를 AI 모델이 직접 이해할 수 있는 고밀도의 임베딩 벡터(Soft Prompt)로 변환하여 처리 효율을 높이는 기술입니다.
- 압축 메커니즘:
- 긴 시퀀스를 여러 청크로 나누고, E2LLM과 같은 프레임워크를 사용하여 각 청크의 정보를 단일 또는 소수의 벡터 토큰으로 응축.
- 이 과정에서 불필요한 토큰 중복을 제거하고 핵심적인 의미론적 패턴(Semantic Pattern)만 남김.
- 연산 비용 절감:
- 입력 토큰 수가 비약적으로 줄어들기 때문에, Attention-Mechanism의 연산량(
O(N^2))을 획기적으로 감소시켜 긴 맥락 처리를 가능하게 함.
- 입력 토큰 수가 비약적으로 줄어들기 때문에, Attention-Mechanism의 연산량(
- 지식의 내재화:
- 자주 사용되는 지시사항이나 지식 베이스를 소프트 프롬프트로 미리 압축해 두면, 매번 긴 텍스트를 입력할 필요 없이 해당 벡터만 주입하여 즉각적인 추론 수행 가능.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 밀도와 해상도의 상충 (RL Update): 압축률을 높일수록 처리 속도는 빨라지지만, 미세한 디테일이 손실되는 '해상도 저하' 현상이 발생함. Antigravity의 정책은 전체 흐름 파악에는 고압축 소프트 프롬프트를, 정밀 인출에는 RAG를 병행하는 하이브리드 인지 아키텍처를 지향함.
- 최신 기술 트렌드: 최근에는 Mamba와 같은 SSM 구조가 자체적으로 정보를 고정된 상태 벡터에 압축하는 방식을 취하므로, 소프트 프롬프트 압축 기술은 이러한 차세대 아키텍처와 융합되는 추세임.
🔗 지식 연결 (Graph)
- In-context-Learning, E2LLM, Attention-Mechanism, RAG, GPU-Memory-Hierarchy (물리적 가속)
- Raw Source: Datacollector_MAC/out_wiki/소프트 프롬프트 압축 (Soft Prompt Compression).md