2nd/10_Wiki/Topics_GD/Deep-Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
DL-001	10_Wiki/💡 Topics/AI	1.0	ai deep-learning neural-networks Backpropagation|Backpropagation ml-foundations	2026-04-26

Deep Learning Foundations (딥러닝 기초)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터로부터 추상적 특징을 스스로 추출하는 다층 신경망의 마법을 이해하라" — 인간 뇌의 구조에서 영감을 얻은 인공 신경망을 깊게(Deep) 쌓아 올려, 복잡한 비선형 관계를 학습하고 표현하는 머신러닝의 하위 분야.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 입력 데이터가 계층적인 레이어를 통과하며 저차원의 특징(선, 면)에서 고차원의 개념(얼굴, 사물)으로 응축되고, 오차 역전파를 통해 가중치를 스스로 최적화하는 학습 패턴.
• 핵심 3요소:
  • Architecture: 입력층, 은닉층, 출력층으로 구성된 다층 퍼셉트론(MLP) 및 다양한 변형.
  • Activation Function: 비선형성을 부여하여 복잡한 함수 근사를 가능하게 함 (ReLU, Sigmoid 등).
  • Backpropagation & Optimizer: 예측 오차를 뒤로 전달하여 경사 하강법(SGD, Adam 등)으로 가중치 수정.
• 의의: 사람이 특징(Feature)을 직접 정의하던 'Feature Engineering' 시대를 끝내고, 모델이 데이터를 스스로 이해하는 시대를 엶.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 연산량과 기울기 소실 문제로 한계에 부딪혔던 초기 신경망이 GPU 연산과 알고리즘 최적화를 통해 현대 AI의 주류로 부활함.
• 정책 변화: Antigravity 프로젝트는 모든 지식 처리 에이전트의 중추로 딥러닝 기반의 트랜스포머 아키텍처를 채택함.

🔗 지식 연결 (Graph)

• Neural-Networks-Foundations, Backpropagation, Gradient-Descent, Universal-Approximation-Theorem
• Raw Source: 10_Wiki/Topics/AI/Deep-Learning.md