---
id: GPT-ARCH-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, nlp, gpt, transformer, deep-learning, generative-ai]
last_reinforced: 2026-04-26
---

# GPT Architecture Foundations (GPT 아키텍처 기초)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "방대한 텍스트의 바다를 스스로 학습하여, 다음에 올 단어를 예측하는 것만으로 우주적 지능에 도달하라" — 트랜스포머의 디코더 블록을 층층이 쌓아 올려, 이전 문맥을 바탕으로 가장 확률 높은 다음 토큰을 생성해 나가는 자기 회귀적(Autoregressive) 언어 모델의 표준.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Next Token Prediction"이라는 단순한 목표 함수를 대규모 데이터와 파라미터에 적용했을 때, 추론과 창의성이라는 상위 인지 능력이 창발(Emergence)하는 스케일링 법칙 패턴.
- **핵심 구성:**
    - **Decoder-only Transformer:** 인코더 없이 마스킹된 셀프 어텐션(Masked Self-Attention)만을 사용하여 미래 정보를 차단하고 과거 문맥에만 집중.
    - **Causal Self-Attention:** 현재 토큰이 이전 토큰들과의 관계만을 계산하도록 강제.
    - **Pre-training & Fine-tuning:** 방대한 비지도 학습으로 지식을 쌓고, 특정 태스크나 지시 이행(Instruction Following)을 위해 미세 조정.
- **의의:** 사람이 규칙을 정의하지 않아도 데이터 자체에서 언어의 문법, 논리, 심지어 코딩 능력까지 스스로 습득함.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** RNN/LSTM의 순차적 처리 한계를 깨고, 병렬 연산이 가능한 어텐션 메커니즘을 통해 모델 규모의 대형화를 실현함.
- **정책 변화:** Antigravity 프로젝트의 핵심 엔진(Local/Cloud Brain)은 GPT 아키텍처 기반의 모델들을 사용하며, 프로젝트 특화 지식(Wiki)을 RAG나 Fine-tuning을 통해 통합함.

## 🔗 지식 연결 (Graph)
- Transformer-Architecture-Foundations, [[LLM]], [[Generative-AI-Impact]], Attention-Mechanism
- **Raw Source:** 10_Wiki/Topics/AI/GPT-Architecture-Foundations.md