Organizer 정리 산출물(From_RawData) + 이사 체크리스트 + 인덱스 갱신
- Raw_Data 자동 정리 산출물이 각 도메인 From_RawData/ 로 편입, 00_INDEX 연결 갱신 - 컴퓨터_이사_체크리스트.md 추가 (두뇌-상대 경로 규약 v2.2.304 — 새 컴퓨터에서 바꿀 절대 경로는 localBrainPath 1개) - Astra 세션 산출물(에피소드 기억·기능 인벤토리) 갱신 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
Antigravity Agent
@@ -0,0 +1,81 @@
|
||||
---
|
||||
id: query-key-value
|
||||
title: "Query-Key-Value"
|
||||
category: "AI_and_ML"
|
||||
status: "draft"
|
||||
verification_status: "conceptual"
|
||||
canonical_id: ""
|
||||
aliases: ["QKV", "Query, Key, Value", "쿼리, 키, 밸류", "질의, 키, 값", "QKV Attention", "트랜스포머 QKV"]
|
||||
duplicate_of: ""
|
||||
source_trust_level: "A"
|
||||
confidence_score: 0.95
|
||||
created_at: 2026-07-11
|
||||
updated_at: 2026-07-11
|
||||
review_reason: ""
|
||||
merge_history: []
|
||||
tags: ["research", "context 이해 규칙"]
|
||||
raw_sources: ["[AI/LLM] Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리", "어텐션 메커니즘이란 무엇인가요? - IBM", "어텐션 메커니즘(Attention Mechanism) 간단히 이해하기", "다차원적 맥락 이해 규범의 통섭적 분석: 인지과학, 언어학, 컴퓨터 과학 및 인공지능 모델의 통합적 메커니즘"]
|
||||
applied_in: []
|
||||
github_commit: ""
|
||||
---
|
||||
|
||||
# [[Query-Key-Value]]
|
||||
|
||||
## 🎯 한 줄 통찰 (One-line insight)
|
||||
트랜스포머(Transformer)의 어텐션 메커니즘에서 단어 간의 문맥적 관계를 동적으로 평가하고 집중해야 할 정보를 추출하기 위해 고안된 정보 검색(Information Retrieval) 기반의 세 가지 핵심 가중치 벡터 체계이다.
|
||||
|
||||
## 🧠 핵심 개념 (Core concepts)
|
||||
- **Query (Q)**: 현재 위치의 단어(토큰)가 문맥 파악을 위해 다른 단어들에게 던지는 '질문'이자 찾고자 하는 정보를 나타내는 벡터이다 [S1, S2].
|
||||
- **Key (K)**: 각 단어가 제공할 수 있는 정보의 '지표(Index)' 역할을 하는 벡터로, Query와의 연관성을 평가하는 기준이 된다 [S1, S2].
|
||||
- **Value (V)**: 단어가 실제로 보유한 '의미 정보'를 담은 벡터이며, Query와 Key의 유사도 평가 결과(어텐션 가중치)에 따라 최종 출력에 반영되는 비중이 결정된다 [S1, S2].
|
||||
- **스케일드 점곱 어텐션 (Scaled Dot-Product Attention)**: Q와 K의 전치 행렬을 내적(Dot-product)하여 유사도를 구하고, 차원 크기의 제곱근($\sqrt{d_k}$)으로 나누어 스케일링한 뒤 소프트맥스(Softmax)를 적용하여 V와 곱하는 일련의 수학적 연산 과정이다 [S1, S4].
|
||||
|
||||
## 🧩 추출된 패턴 (Extracted patterns)
|
||||
- **관계형 데이터베이스 메커니즘 모방**: 고유 식별자인 Key와 그에 연결된 Value를 기반으로 데이터를 검색하는 관계형 데이터베이스의 논리를 차용하여, 모델이 방대한 텍스트의 잠재 공간 내에서 관련 정보를 탐색하도록 한다 [S2, S4].
|
||||
- **다중 헤드 분할 (Multi-Head Parallelism)**: 입력 임베딩을 $h$개의 균일한 크기로 분할하고, 각각 고유한 가중치 행렬과 곱하여 병렬로 Q, K, V 회로를 구성함으로써 단어 간의 다면적인 관계(시제, 어조 등)를 동시에 파악한다 [S2].
|
||||
- **KV 캐싱 (KV Caching)**: 토큰을 순차적으로 생성하는 자동 회귀(Auto-regressive) 디코더 모델에서, 매 스텝마다 전체 시퀀스의 K와 V를 재계산하는 연산 낭비($O(n^2)$)를 막기 위해 이전 스텝의 K와 V 벡터를 메모리에 저장해 두고 재사용하는 엔지니어링 패턴이다 [S1].
|
||||
|
||||
## ⚖️ 비교 및 선택 기준 (Comparison & decision criteria)
|
||||
| 항목 (Option) | 장점 | 단점 | 언제 선택 |
|
||||
|---|---|---|---|
|
||||
| **점곱 어텐션 (Dot-Product Attention)** | 행렬 곱셈을 사용하여 연산 속도가 훨씬 빠르고 계산 효율성이 매우 높음 [S2]. | 차원 크기($d_k$)가 클 경우 내적 값이 비대해져 소프트맥스 기울기 소실(Gradient Vanishing)이 발생할 수 있어 스케일링이 필수적임 [S1, S2]. | 트랜스포머 등 현대적 대규모 언어 모델(LLM)에서 효율적이고 빠른 대규모 병렬 처리가 필요할 때 [S2]. |
|
||||
| **가산 어텐션 (Additive / Bahdanau Attention)** | 쿼리와 키 벡터의 길이가 동일하지 않아도 연산이 가능하며, 긴 벡터 환경에서 성능이 우수할 수 있음 [S2]. | 별도의 어텐션 계층(피드포워드 신경망 등)과 덧셈 연산을 거치므로 점곱 방식에 비해 계산 속도가 느림 [S2]. | 입력과 출력의 특성이 달라 쿼리/키 벡터 길이가 다른 특정 Seq2Seq 기계 번역 환경 등에서 사용 [S2]. |
|
||||
|
||||
## 📖 세부 내용 (Details)
|
||||
- **어텐션 연산 메커니즘**:
|
||||
1. **유사도 계산**: 입력 시퀀스의 토큰에 대한 Query 벡터에 다른 토큰들의 Key 벡터를 내적한다. 관련성이 높을수록 결과값이 커지고, 관련성이 낮으면 작거나 음수가 된다 [S1, S2].
|
||||
2. **스케일링**: 벡터 차원이 커질수록 내적 값의 분산이 커지는 것을 막기 위해 $\sqrt{d_k}$ 로 나누어 값의 범위를 조정한다 [S1].
|
||||
3. **소프트맥스와 가중합**: 정규화된 점수에 소프트맥스를 적용하여 0~1 사이의 확률 분포(어텐션 가중치)를 생성한 뒤, 이를 Value 벡터에 곱하여 가중 평균 혹은 가중합(Contextualized Representation)을 도출한다 [S1, S3].
|
||||
- **인코더와 디코더의 Q, K, V 차이**:
|
||||
- **인코더 (Encoder)**: 셀프 어텐션(Self-Attention)으로 동작하며, 내부의 모든 Q, K, V가 동일한 입력 시퀀스로부터 생성되어 문장 내 단어 간의 양방향 맥락을 파악한다 [S1].
|
||||
- **디코더 (Decoder)**: 미래 시점의 단어를 참조하지 못하도록 K에 마스킹을 적용하는 '마스크드 셀프 어텐션'과 함께, Q는 디코더의 이전 레이어 출력에서 생성하고 K와 V는 인코더의 최종 출력에서 가져와 결합하는 '교차 어텐션(Cross-Attention)'을 혼합하여 사용한다 [S1].
|
||||
|
||||
## ⚖️ 모순 및 업데이트 (Contradictions & updates)
|
||||
- 과거 기계 번역을 주도했던 순환 신경망(RNN) 기반의 초기 Seq2Seq 모델에서는 교차 어텐션 형태로 인코더가 K와 V 역할을 하는 은닉 상태를 제공하고 디코더가 Q 역할을 하는 은닉 상태를 제공하는 방식으로 출처가 분리되어 있었다 [S2, S3]. 그러나 "Attention is All You Need" 논문에서 제안된 트랜스포머 구조 이후, 동일한 입력 시퀀스 내에서 Q, K, V를 모두 파생시켜 단어들 간의 관계를 분석하는 셀프 어텐션(Self-Attention) 방식으로 주류 패러다임이 업데이트되었다 [S1, S2].
|
||||
|
||||
## 🛠️ 적용 사례 (Applied in summary)
|
||||
현재 발견된 실제 적용 사례가 없습니다.
|
||||
|
||||
## 💻 코드 패턴 (Code patterns)
|
||||
소스에 코드 예시 없음
|
||||
|
||||
## ✅ 검증 상태 및 신뢰도
|
||||
- **상태:** draft
|
||||
- **검증 단계:** conceptual
|
||||
- **출처 신뢰도:** A
|
||||
- **신뢰 점수:** 0.95
|
||||
- **중복 검사 결과:** 신규 생성 (New discovery)
|
||||
|
||||
## 🔗 지식 그래프 (Knowledge Graph)
|
||||
- **상위/루트:** [[context 이해 규칙]]
|
||||
- **관련 개념:** [[어텐션 메커니즘]], [[트랜스포머 모델]]
|
||||
- **참조 맥락:** 거대 언어 모델(LLM) 및 트랜스포머 아키텍처 내부에서 단어 간의 연관성을 가중치로 계산하고 문맥적 의미를 추출하는 핵심 연산 과정을 분석할 때 참조.
|
||||
|
||||
## 📚 출처 (Sources)
|
||||
- [S1] [AI/LLM] Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리
|
||||
- [S2] 어텐션 메커니즘이란 무엇인가요? - IBM
|
||||
- [S3] 어텐션 메커니즘(Attention Mechanism) 간단히 이해하기
|
||||
- [S4] 다차원적 맥락 이해 규범의 통섭적 분석: 인지과학, 언어학, 컴퓨터 과학 및 인공지능 모델의 통합적 메커니즘
|
||||
|
||||
## 📝 변경 이력 (Change history)
|
||||
- 2026-07-11: Initial draft generated via Datacollector_MAC P-Reinforce engine.
|
||||
Reference in New Issue
Block a user