[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -2,14 +2,14 @@
|
||||
id: TRANS-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, transformer, attention, llm]
|
||||
tags: [ai, [[Deep-Learning]], transformer, attention, llm]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# Transformer Architecture (트랜스포머 아키텍처)
|
||||
# Transformer [[Architecture]] (트랜스포머 아키텍처)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "순차적 처리를 버리고, 데이터 간의 모든 관계를 한눈에 파악하라" — 구글이 제안한 "Attention is All You Need" 논문 기반 아키텍처로, 병렬 연산과 어텐션 메커니즘을 통해 현대 모든 거대 모델(GPT, BERT 등)의 표준이 된 신경망 구조.
|
||||
> "순차적 처리를 버리고, 데이터 간의 모든 관계를 한눈에 파악하라" — 구글이 제안한 "[[Attention is All You Need]]" 논문 기반 아키텍처로, 병렬 연산과 어텐션 메커니즘을 통해 현대 모든 거대 모델(GPT, [[BERT]] 등)의 표준이 된 신경망 구조.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** 데이터를 한 번에 입력받아 각 요소 간의 연관성을 계산하고(Self-Attention), 정보를 인코딩 및 디코딩하여 복잡한 시퀀스 변환을 수행하는 전역 처리 패턴.
|
||||
|
||||
Reference in New Issue
Block a user