[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -2,7 +2,7 @@
|
||||
id: PAPER-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, nlp, paper-summary, transformer, attention, google-research]
|
||||
tags: [ai, nlp, paper-summary, transformer, attention, google-[[Research]]]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
@@ -18,7 +18,7 @@ last_reinforced: 2026-04-26
|
||||
- **Multi-Head Attention:** 정보를 여러 관점(Head)에서 동시에 처리하여 입체적인 언어 이해 실현.
|
||||
- **Elimination of Recurrence:** 데이터를 순차적으로 넣지 않고 한꺼번에 입력하여 GPU 활용도와 학습 속도를 비약적으로 향상.
|
||||
- **Positional Encoding:** 순차 정보를 잃지 않기 위해 사인/코사인 함수를 이용한 위치 정보를 벡터에 주입.
|
||||
- **결과:** 기계 번역(WMT 2014)에서 기존 SOTA를 갈아치우며 압도적 성능 증명.
|
||||
- **결과:** 기계 번역(WMT 2014)에서 기존 [[SOTA]]를 갈아치우며 압도적 성능 증명.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 시계열 데이터는 반드시 시간 순서대로 처리해야 한다는 통념을 깨뜨림. 이로 인해 '텍스트'뿐만 아니라 이미지(ViT), 오디오 등 모든 도메인으로 트랜스포머가 확장됨.
|
||||
|
||||
Reference in New Issue
Block a user