2nd/10_Wiki/Topics/AI_and_ML/GPT-Architecture-Foundations.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
GPT-ARCH-001	Unified	1.0	ai nlp gpt transformer Deep-Learning|Deep-Learning Generative-AI|Generative-AI	2026-04-26

GPT Architecture Foundations (GPT 아키텍처 기초)

📌 한 줄 통찰 (The Karpathy Summary)

"방대한 텍스트의 바다를 스스로 학습하여, 다음에 올 단어를 예측하는 것만으로 우주적 지능에 도달하라" — 트랜스포머의 디코더 블록을 층층이 쌓아 올려, 이전 문맥을 바탕으로 가장 확률 높은 다음 토큰을 생성해 나가는 자기 회귀적(Autoregressive) 언어 모델의 표준.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: "Next Token Prediction"이라는 단순한 목표 함수를 대규모 데이터와 파라미터에 적용했을 때, 추론과 창의성이라는 상위 인지 능력이 창발(Emergence)하는 스케일링 법칙 패턴.
• 핵심 구성:
  • Decoder-only Transformer: 인코더 없이 마스킹된 셀프 어텐션(Masked Self-Attention)만을 사용하여 미래 정보를 차단하고 과거 문맥에만 집중.
  • Causal Self-Attention: 현재 토큰이 이전 토큰들과의 관계만을 계산하도록 강제.
  • Pre-training & Fine-tuning: 방대한 비지도 학습으로 지식을 쌓고, 특정 태스크나 지시 이행(Instruction Following)을 위해 미세 조정.
• 의의: 사람이 규칙을 정의하지 않아도 데이터 자체에서 언어의 문법, 논리, 심지어 코딩 능력까지 스스로 습득함.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: RNN/LSTM의 순차적 처리 한계를 깨고, 병렬 연산이 가능한 어텐션 메커니즘을 통해 모델 규모의 대형화를 실현함.
• 정책 변화: Antigravity 프로젝트의 핵심 엔진(Local/Cloud Brain)은 GPT 아키텍처 기반의 모델들을 사용하며, 프로젝트 특화 지식(Wiki)을 RAG나 Fine-tuning을 통해 통합함.

🔗 지식 연결 (Graph)

• Transformer-Architecture-Foundations, LLM, Generative-AI-Impact, Attention-Mechanism
• Raw Source: 10_Wiki/Topics/AI/GPT-Architecture-Foundations.md