---
id: DL-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, deep-learning, neural-networks, backpropagation, ml-foundations]
last_reinforced: 2026-04-26
---

# Deep Learning Foundations (딥러닝 기초)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "데이터로부터 추상적 특징을 스스로 추출하는 다층 신경망의 마법을 이해하라" — 인간 뇌의 구조에서 영감을 얻은 인공 신경망을 깊게(Deep) 쌓아 올려, 복잡한 비선형 관계를 학습하고 표현하는 머신러닝의 하위 분야.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 입력 데이터가 계층적인 레이어를 통과하며 저차원의 특징(선, 면)에서 고차원의 개념(얼굴, 사물)으로 응축되고, 오차 역전파를 통해 가중치를 스스로 최적화하는 학습 패턴.
- **핵심 3요소:**
    - **Architecture:** 입력층, 은닉층, 출력층으로 구성된 다층 퍼셉트론(MLP) 및 다양한 변형.
    - **Activation Function:** 비선형성을 부여하여 복잡한 함수 근사를 가능하게 함 (ReLU, Sigmoid 등).
    - **Backpropagation & Optimizer:** 예측 오차를 뒤로 전달하여 경사 하강법(SGD, Adam 등)으로 가중치 수정.
- **의의:** 사람이 특징(Feature)을 직접 정의하던 'Feature Engineering' 시대를 끝내고, 모델이 데이터를 스스로 이해하는 시대를 엶.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 연산량과 기울기 소실 문제로 한계에 부딪혔던 초기 신경망이 GPU 연산과 알고리즘 최적화를 통해 현대 AI의 주류로 부활함.
- **정책 변화:** Antigravity 프로젝트는 모든 지식 처리 에이전트의 중추로 딥러닝 기반의 트랜스포머 아키텍처를 채택함.

## 🔗 지식 연결 (Graph)
- Neural-Networks-Foundations, [[Backpropagation|Backpropagation]], [[Gradient-Descent|Gradient-Descent]], [[Universal-Approximation-Theorem|Universal-Approximation-Theorem]]
- **Raw Source:** 10_Wiki/Topics/AI/Deep-Learning.md