Neural Networks Foundations (신경망 기초)

📌 한 줄 통찰 (The Karpathy Summary)

"생물학적 뇌를 모방한 수학적 연산의 집합체" — 뉴런의 활성화 구조를 모방하여 입력 데이터의 특징을 단계별로 추출하고 비선형적인 관계를 학습해내는 인공지능의 핵심 아키텍처.

추출된 패턴: 가중치(Weights)와 편향(Bias)을 가진 노드들이 층(Layer)을 이루어 연결되고, 활성화 함수(Activation Function)를 통해 복잡한 함수 관계를 근사(Function Approximation)하는 패턴.
기본 구성 요소:
- Perceptron: 단일 뉴런 모델. 입력값에 가중치를 곱하고 합산한 뒤 임계값을 넘으면 활성화.
- Layers: 입력층(Input), 은닉층(Hidden), 출력층(Output)으로 구성. 은닉층이 많아질수록 '딥러닝'이 됨.
- Activation Functions: ReLU, Sigmoid, Tanh 등. 신경망에 비선형성을 부여하여 복잡한 패턴 학습 가능하게 함.
- Forward Propagation: 입력을 받아 출력을 계산하는 과정.
- Backpropagation: 실제 값과 예측 값의 오차를 뒤로 전달하여 가중치를 수정하는 학습 과정.

과거 데이터와의 충돌: 단순한 선형 분류기에서, 범용 함수 근사자(Universal Function Approximator)로서의 지위를 확보하며 모든 현대 AI 기술의 뿌리가 됨.
정책 변화: Antigravity 프로젝트는 신경망의 기본 원리를 바탕으로 하되, 데이터 효율성을 위해 상위 수준의 인지 프레임워크와 결합하여 사용함.