Regression Analysis Foundations (회귀 분석 기초)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터의 흩어진 점들 사이에서 가장 설득력 있는 '추세의 선'을 긋고, 과거의 인과를 바탕으로 미래의 수치를 점쳐라" — 하나 이상의 독립 변수와 종속 변수 사이의 상관관계를 모델링하여 연속적인 수치를 예측하는 통계적 기법.

추출된 패턴: "Linear Approximation and Error Minimization" — 데이터의 분포를 가장 잘 설명하는 함수(주로 직선)를 찾기 위해, 실제값과 예측값의 차이(잔차, Residuals)의 제곱합을 최소화하는 최소제곱법(Ordinary Least Squares)을 적용하는 패턴.
핵심 요소:
- Linear Regression: 가장 기본적인 선형 모델. y = ax + b.
- Multiple Regression: 여러 개의 독립 변수를 사용하여 복합적인 영향 분석.
- R-squared: 모델이 데이터를 얼마나 잘 설명하는지 나타내는 결정계수.
- Assumptions: 선형성, 독립성, 등분산성, 정규성 가정을 전제로 함.
의의: 기온에 따른 판매량 예측, 광고비 집행 대비 매출 분석 등 실생활의 수많은 인과 관계를 수치화하고 예측하는 머신러닝의 가장 강력한 베이스라인.

과거 데이터와의 충돌: 선형 모델은 단순해서 한계가 있다는 인식에서 벗어나, 이제는 비선형 데이터도 특징 추출(Feature Engineering)이나 다항 회귀를 통해 효과적으로 처리하며, 해석 가능성(Interpretability)이 중요한 분야에서 여전히 최우선으로 선택됨.
정책 변화: Antigravity 프로젝트는 에이전트의 연산 소모량 및 응답 시간 예측 시, 복잡한 신경망 대신 가볍고 해석이 용이한 회귀 모델을 실시간 모니터링 엔진으로 사용함.