bluemsi/2nd
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links

Browse Source
This commit is contained in:
Antigravity Agent
2026-05-02 09:18:34 +09:00
parent c84dcb8371
commit 6445fcc05b
13150 changed files with 55394 additions and 100862 deletions
Download Patch File Download Diff File Expand all files Collapse all files
10_Wiki/Topics_Blog/Transformers.md
+2 -2
View File
@@ -6,7 +6,7 @@ tags: [auto-reinforced, transformers, attention-is-all-you-need, llm, neural-net
last_reinforced: 2026-04-20
---
# [[Transformers]]
# [[Transformers|Transformers]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "현대 AI의 빅뱅: 데이터의 순서에 집착하지 않고 전체 맥락 속에서 무엇이 중요한지 스스로 판단하는 '자기 주의(Self-Attention)' 메커니즘으로, 인간의 언어와 지식을 정복한 거대 지능의 표준 설계도."
@@ -29,6 +29,6 @@ last_reinforced: 2026-04-20
- **정책 변화(RL Update)**: 거대 모델의 연산 자원 독점이 심화됨에 따라, 초거대 트랜스포머를 더 작고 효율적으로 만드는 '경량화 트랜스포머(Tiny-Transformers)' 및 온디바이스 AI 정책에 예산과 연구가 집중되고 있음.
## 🔗 지식 연결 (Graph)
- Foundational Models, [[State Space Model (SSM)]], [[Self-Supervised Learning (SSL)]], NLP (자연어 처리), [[Complexity Theory]]
- Foundational Models, [[State Space Model (SSM)|State Space Model (SSM)]], [[Self-Supervised Learning (SSL)|Self-Supervised Learning (SSL)]], NLP (자연어 처리), [[Complexity Theory|Complexity Theory]]
- **Modern Tech/Tools**: GPT-4, Llama-3, Claude, Hugging Face, FlashAttention.
---