Organizer 정리 산출물(From_RawData) + 이사 체크리스트 + 인덱스 갱신

- Raw_Data 자동 정리 산출물이 각 도메인 From_RawData/ 로 편입, 00_INDEX 연결 갱신 - 컴퓨터_이사_체크리스트.md 추가 (두뇌-상대 경로 규약 v2.2.304 — 새 컴퓨터에서 바꿀 절대 경로는 localBrainPath 1개) - Astra 세션 산출물(에피소드 기억·기능 인벤토리) 갱신 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-11 21:03:00 +09:00
parent 468322768c
commit 2cc6eff2dd
162 changed files with 15836 additions and 14 deletions
@@ -0,0 +1,112 @@
+---
+id: multi-head-attention
+title: "Multi-head Attention"
+category: "AI_and_ML"
+status: "draft"
+verification_status: "conceptual"
+canonical_id: ""
+aliases: 
+  - "멀티헤드 어텐션"
+  - "다중 헤드 어텐션"
+  - "Multihead Attention"
+  - "병렬 어텐션"
+  - "MHA"
+duplicate_of: ""
+source_trust_level: "A"
+confidence_score: 0.95
+created_at: 2026-07-11
+updated_at: 2026-07-11
+review_reason: ""
+merge_history: []
+tags: ["research", "context 이해 규칙"]
+raw_sources: 
+  - "어텐션 메커니즘이란 무엇인가요? - IBM"
+  - "[AI/LLM] Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리"
+  - "어텐션 메커니즘(Attention Mechanism) 간단히 이해하기"
+  - "다차원적 맥락 이해 규범의 통섭적 분석: 인지과학, 언어학, 컴퓨터 과학 및 인공지능 모델의 통합적 메커니즘"
+applied_in: []
+github_commit: ""
+---
+
+# [[Multi-head Attention]]
+
+## 🎯 한 줄 통찰 (One-line insight)
+어텐션 가중 기여도를 단순히 평균화할 때 발생하는 세부 정보 손실을 막기 위해, 여러 병렬 어텐션 헤드를 통해 다면적인 문맥 관계(맥락)를 동시에 포착하고 결합하는 트랜스포머 모델의 핵심 인지 구조이다.
+
+## 🧠 핵심 개념 (Core concepts)
+* **[[Self-Attention]] (자가 어텐션)**: 입력 시퀀스 내의 단어들이 서로 어떤 관련이 있는지 확인하기 위해, Query, Key, Value 내적 연산을 통해 문맥적 연관성과 가중치를 자체적으로 파악하는 메커니즘.
+* **[[Query, Key, Value]]**: 정보 검색 시스템의 논리와 유사하게, 현재 위치의 단어가 던지는 질문(Q), 각 단어가 제공할 수 있는 정보의 지표(K), 단어가 실제로 보유한 의미 정보(V)를 정의하여 관련성을 평가하는 구성 요소.
+* **[[Parallel Attention Heads]] (병렬 어텐션 헤드)**: 입력 임베딩을 $h$개의 하위 집합으로 분할하여 여러 개의 가중치 행렬 세트에서 병렬로 연산을 수행함으로써, 단어 간 의미적 맥락의 다양한 측면을 개별적으로 포착하는 구조.
+
+## 🧩 추출된 패턴 (Extracted patterns)
+* **차원 분할 및 병렬 연산 (Splitting & Parallelizing)**: 원래의 입력 토큰 임베딩을 균일한 크기의 $h$개 하위 집합으로 분할하고, 이를 각각 서로 다른 $Q, K, V$ 가중치 행렬(쿼리 헤드, 키 헤드, 값 헤드)에 통과시켜 병렬로 어텐션을 계산한다.
+* **다면적 맥락 학습 (Multi-faceted Contextual Learning)**: 병렬로 구성된 각 회로(어텐션 헤드)는 서로 다른 가중치를 학습하여, 시제의 변화나 어조 등 주변 단어가 문맥에 영향을 미치는 여러 개별적인 측면들을 전문적으로 분담하여 포착한다.
+* **결합 (Concatenation)**: 각각의 어텐션 헤드에서 출력된 벡터(Z)들은 평균화되지 않고 마지막 계층에서 다시 하나로 연결(Concatenate)되어 풍부한 문맥 정보를 보존한다.
+
+## ⚖️ 비교 및 선택 기준 (Comparison & decision criteria)
+
+| 항목 (Option) | 장점 | 단점 | 언제 선택 |
+|---|---|---|---|
+| **단일 헤드 어텐션 (Single-head Attention)** | 수식이 단순하고 연산에 필요한 하드웨어 자원이 상대적으로 적음. | 모든 어텐션 가중 기여도를 단일 공간에서 평균화하므로 문맥의 다양한 세부 사항이 손실될 수 있음. | 모델 경량화가 극단적으로 요구되거나, 단어 간의 단순하고 직관적인 의존성만 파악해도 무방한 환경. |
+| **멀티헤드 어텐션 (Multi-head Attention)** | 단어 간의 다면적인 관계를 동시에 여러 관점으로 학습하여 세밀한 맥락(Context)을 보존함. | $h$개의 병렬 행렬 연산 및 결합 과정을 거치므로 컴퓨팅 자원(연산량)이 더 필요함. | 복잡한 자연어 처리, 기계 번역 등 정교하고 심층적인 다차원적 맥락 이해가 필수적인 트랜스포머 기반 모델 구축 시. |
+
+## 📖 세부 내용 (Details)
+* 트랜스포머(Transformer) 아키텍처는 과거의 합성곱(CNN)이나 순환(RNN) 신경망 연산을 완전히 배제하고 오직 어텐션 계층과 피드포워드 계층만으로 구성된 모델이며, 여기서 활용되는 핵심 기법이 멀티헤드 어텐션이다 [S1].
+* 각 어텐션 가중 기여도를 개별적으로 계산하는 대신 단순 평균화하는 방식은 수학적으로는 효율적일 수 있으나 중요한 세부 사항이 손실되는 치명적인 단점이 존재한다. 트랜스포머 모델은 이 문제를 해결하기 위해 '멀티헤드 어텐션'을 구현하였다 [S1].
+* 연산 과정에서 입력 토큰 임베딩은 $h$개의 균일한 크기로 분할되며, 각 부분은 고유한 가중치 행렬을 갖는 $h$개의 병렬 $Q, K, V$ 회로에 입력된다 [S1, S2]. 
+* 이 병렬 회로 내부에서는 각기 $Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$ 의 스케일드 닷 프로덕트 어텐션(Scaled Dot-product Attention) 공식이 작동하여 쿼리와 키의 연관성을 평가한다 [S2, S3, S4].
+* 실제 모델 학습 시 이 병렬 회로들은 의미적 의미의 개별적인 측면들을 포착하게 된다. 예를 들어 한 어텐션 헤드는 시제의 변화에 특화되어 집중하고, 다른 어텐션 헤드는 주변 단어가 문장의 어조에 미치는 영향을 파악하도록 가중치를 조정한다 [S1].
+* 각 어텐션 블록의 마지막 계층에서 이러한 $h$개 병렬 회로의 출력들은 서로 연결(Concatenate)되어, 모호성을 해결하고 복합적인 문맥이 모두 반영된 최종 표현 벡터(Contextualized Representation)를 만들어낸다 [S1, S2].
+
+## ⚖️ 모순 및 업데이트 (Contradictions & updates)
+소스 내에서 상충되는 정보는 발견되지 않음. 제공된 모든 소스가 공통적으로 멀티헤드 어텐션이 단일 어텐션의 평균화 손실 문제를 극복하고 다차원적 맥락을 병렬로 결합하는 우수한 기법임을 일관되게 서술하고 있다.
+
+## 🛠️ 적용 사례 (Applied in summary)
+현재 발견된 실제 적용 사례가 없습니다. (소스 데이터 내에서 특정 코드 리포지토리의 파일 경로, Git 커밋 해시 또는 사내 의사결정 기록(decision_id) 등의 직접적인 구현 사례 메타데이터는 확인되지 않음.)
+
+## 💻 코드 패턴 (Code patterns)
+소스에 코드 예시 없음. (소스 내에는 수학적 행렬 연산식과 개념적 아키텍처 설명만 존재하며, 실행 가능한 완전한 코드 스니펫은 제공되지 않음.)
+
+## ✅ 검증 상태 및 신뢰도
+- **상태:** draft
+- **검증 단계:** conceptual
+- **출처 신뢰도:** A
+- **신뢰 점수:** 0.95
+- **중복 검사 결과:** 신규 생성 (New discovery)
+
+## 🔗 관련 문서 링크 (Related document links)
+
+### 상위/유사 개념
+- [[Transformer]] — 멀티헤드 어텐션을 코어 아키텍처로 사용하여 순환 신경망을 대체한 딥러닝 모델.
+- [[Self-Attention]] — 멀티헤드 어텐션의 기반 단위로, 동일한 소스 내에서 Q, K, V를 추출하여 문맥을 파악하는 기법.
+- [[Scaled Dot-Product Attention]] — 멀티헤드 어텐션 내부의 개별 헤드에서 기울기 소실을 방지하기 위해 내적 값을 스케일링하는 어텐션 스코어 산출 방식.
+
+### 심층 후속 질문 (Deeper Research Questions)
+- 멀티헤드 어텐션에서 병렬 헤드의 개수($h$) 설정이 자연어 처리 모델의 맥락 파악 성능과 컴퓨팅 자원 소모에 미치는 구체적인 임계점은 무엇인가?
+- 모델의 특정 어텐션 헤드가 시제나 어조 등 고유한 문맥을 독립적으로 학습했다는 것을 정량적 혹은 시각적으로 평가(해석 가능성)하는 방법론은 무엇인가?
+- 디코더에서 사용되는 마스크드 멀티헤드 어텐션(Masked Multi-head Attention)은 미래 정보를 차단하기 위해 내부 행렬 연산을 어떻게 수정하는가?
+- 오토레그레시브(Auto-regressive) 생성 시 멀티헤드 어텐션 연산 부하를 줄이기 위해 [[KV Caching]] 기법은 구체적으로 메모리 내에 어떤 형태의 텐서를 보존하는가?
+
+### 실무 적용 맥락 (Practical Application Contexts)
+- **Implementation:** 대규모 언어 모델(LLM) 및 신경망 아키텍처의 어텐션 블록(Attention Block) 레이어 개발.
+- **System Design:** 장거리 의존성(Long-range dependencies)을 효과적으로 처리해야 하는 문서 요약, 기계 번역 등 NLP 파이프라인 설계.
+- **Operation / Maintenance:** 모델 추론 속도 지연(TTFT) 해소를 위한 어텐션 연산 효율화 및 메모리 할당(KV Caching) 관리.
+- **Learning Path:** 트랜스포머 구조의 이해, 딥러닝에서의 자연어 처리 모델링 및 어텐션 메커니즘 수학적 기초.
+
+### 인접 주변 주제 (Adjacent Topics)
+- [[KV Caching]] — 디코더가 토큰을 생성할 때, 이전 스텝의 멀티헤드 어텐션 K, V 연산 값을 캐싱하여 중복 연산을 방지하는 확장 최적화 방향.
+- [[In-Context Learning]] — 멀티헤드 어텐션에 의해 획득된 거대한 잠재 개념(Latent Concepts)을 바탕으로 프롬프트 상의 예시 맥락을 즉각적으로 추론해 내는 LLM의 학습 방법론.
+
+## 🔗 지식 그래프 (Knowledge Graph)
+- **상위/루트:** [[context 이해 규칙]]
+- **관련 개념:** [[Self-Attention]], [[Transformer]]
+- **참조 맥락:** 인공지능이 텍스트의 다차원적 맥락(시제, 어조, 지시어 등)을 단일 백터로 압축하여 소실시키지 않고, 여러 관점에서 동시에 병렬로 보존·이해하도록 아키텍처를 설계할 때 핵심 규범으로 참조됨.
+
+## 📚 출처 (Sources)
+- [S1] 어텐션 메커니즘이란 무엇인가요? - IBM
+- [S2] [AI/LLM] Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리
+- [S3] 어텐션 메커니즘(Attention Mechanism) 간단히 이해하기
+- [S4] 다차원적 맥락 이해 규범의 통섭적 분석: 인지과학, 언어학, 컴퓨터 과학 및 인공지능 모델의 통합적 메커니즘
+
+## 📝 변경 이력 (Change history)
+- 2026-07-11: Initial draft generated via Datacollector_MAC P-Reinforce engine.