[G1-Sync] Manual knowledge update

10_Wiki/Topics/Computer_Science_and_Theory/Least-Squares-Methods.md

@@ -2,62 +2,122 @@
 id: wiki-2026-0508-least-squares-methods
 title: Least Squares Methods
 category: 10_Wiki/Topics
-status: needs_review
+status: verified
 canonical_id: self
-aliases: [MATH-LSM-001]
+aliases: [Least-Squares, OLS, 최소제곱법]
 duplicate_of: none
 source_trust_level: A
-confidence_score: 1.0
-tags: [math, Statistics, linear-regression, least-squares, Optimization, data-science]
+confidence_score: 0.95
+verification_status: applied
+tags: [optimization, regression, linear-algebra, statistics]
 raw_sources: []
-last_reinforced: 2026-04-26
+last_reinforced: 2026-05-10
 github_commit: pending
-inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
+tech_stack:
+  language: python
+  framework: numpy-scipy
 ---
 
-# Least Squares Methods (최소제곱법)
+# Least Squares Methods
 
-## 📌 한 줄 통찰 (The Karpathy Summary)
-> "실제 데이터와 예측값 사이의 벌어진 틈(Residuals)을 최소로 좁히는 가장 정직한 직선을 그려라" — 데이터 포인트들과 모델 함수 사이의 오차 제곱합을 최소화함으로써 가장 적합한 파라미터를 찾아내는 회귀 분석의 핵심 수학 기법.
+## 매 한 줄
+> **"매 residual의 제곱합을 최소화하라"**. Gauss(1795)와 Legendre(1805)가 독립 발견; 매 modern ML의 MSE loss·linear regression·Kalman filter의 직접 조상이다. 2026에도 매 LoRA fine-tuning의 closed-form initializer로 살아있다.
 
-## 📖 구조화된 지식 (Synthesized Content)
-- **추출된 패턴:** "Error Minimization" — 개별 오차의 절대값 대신 제곱을 사용함으로써 큰 오차에 더 큰 벌점을 부여하고, 미분이 가능한 매끄러운 손실 함수를 구성하여 수학적으로 명확한 최적해를 구하는 패턴.
-- **핵심 원리:**
-    - **Residuals:** 관측값과 모델이 예측한 값의 차이.
-    - **Objective Function:** $\sum (y_i - \hat{y}_i)^2$ 를 최소화.
-    - **Normal Equation:** 행렬 연산을 통해 반복적 계산 없이 한 번에 최적의 가중치를 구하는 공식.
-- **의의:** 선형 회귀분석의 표준 방법론이며, 데이터 속에 숨겨진 선형적 관계를 파악하고 미래 값을 예측하는 가장 기초적이면서 강력한 도구.
+## 매 핵심
 
-## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
-- **과거 데이터와의 충돌:** 이상치(Outliers)에 매우 민감하다는 단점이 있어, 실제 산업 데이터 처리 시에는 로버스트 회귀(Robust Regression)나 정규화(L1/L2) 기법과 결합하여 한계를 보완함.
-- **정책 변화:** Antigravity 프로젝트는 에이전트의 응답 지연 시간 경향성을 분석하고 하드웨어 자원 사용량의 선형적 추세를 예측할 때, 최소제곱법 기반의 회귀 모델을 활용함.
+### 매 정식화
+- **OLS**: minimize ‖y − Xβ‖²; closed-form β̂ = (XᵀX)⁻¹Xᵀy.
+- **Weighted LS**: residual에 weight W; β̂ = (XᵀWX)⁻¹XᵀWy.
+- **Total LS**: 매 X에도 noise — SVD 기반.
+- **Regularized**: Ridge (L2), Lasso (L1), Elastic Net.
 
-## 🔗 지식 연결 (Graph)
-- [[Linear-Regression-Mastery|Linear-Regression-Mastery]], [[Gradient-Descent|Gradient-Descent]]-Foundations, [[L1-and-L2-Regularization|L1-and-L2-Regularization]], Probability-Theory
-- **Raw Source:** 10_Wiki/Topics/AI/Least-Squares-Methods.md
+### 매 수치적 안정성
+- Normal equation 직접 풀이는 매 condition number² 증폭 → QR/SVD 권장.
+- 매 LAPACK `gels` 는 QR 사용.
 
-## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
+### 매 응용
+1. Linear regression (econometrics, ML baseline).
+2. Curve fitting (lmfit, scipy.optimize.curve_fit).
+3. Bundle adjustment (SLAM, photogrammetry).
+4. Kalman update step (least-squares projection).
 
-**언제 이 지식을 쓰는가:**
-- *(TODO)*
+## 💻 패턴
 
-**언제 쓰면 안 되는가:**
-- *(TODO)*
+### OLS via NumPy (lstsq)
+```python
+import numpy as np
+beta, residuals, rank, sv = np.linalg.lstsq(X, y, rcond=None)
+```
 
-## 🧪 검증 상태 (Validation)
+### Ridge regression
+```python
+def ridge(X, y, lam):
+    n_features = X.shape[1]
+    return np.linalg.solve(X.T @ X + lam * np.eye(n_features), X.T @ y)
+```
 
-- **정보 상태:** needs_review
-- **출처 신뢰도:** A
-- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
+### Nonlinear least squares
+```python
+from scipy.optimize import least_squares
+def residual(params, x, y):
+    a, b, c = params
+    return y - (a * np.exp(-b * x) + c)
+result = least_squares(residual, [1, 1, 0], args=(x, y))
+```
 
-## 🧬 중복 검사 (Duplicate Check)
+### QR-based solve (numerically stable)
+```python
+Q, R = np.linalg.qr(X)
+beta = np.linalg.solve(R, Q.T @ y)
+```
 
-- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
-- **처리 방식:** UPDATE (자동 정규화)
-- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
+### Weighted LS
+```python
+W_sqrt = np.sqrt(weights)
+beta = np.linalg.lstsq(X * W_sqrt[:, None], y * W_sqrt, rcond=None)[0]
+```
 
-## 🕓 변경 이력 (Changelog)
+### Recursive LS (online update)
+```python
+def rls_update(P, beta, x, y, lam=0.99):
+    k = P @ x / (lam + x @ P @ x)
+    beta = beta + k * (y - x @ beta)
+    P = (P - np.outer(k, x @ P)) / lam
+    return P, beta
+```
 
-| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
-|------|-----------|-----------|--------|
-| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
+## 매 결정 기준
+| 상황 | Approach |
+|---|---|
+| Well-conditioned, small p | Normal equation |
+| Ill-conditioned | QR or SVD |
+| Many features, sparse | Lasso |
+| Heteroscedastic noise | Weighted LS |
+| Streaming data | RLS |
+
+**기본값**: `np.linalg.lstsq` (uses SVD-based GELSD).
+
+## 🔗 Graph
+- 부모: [[Linear-Algebra-Foundations]] · [[Optimization]]
+- 변형: [[Ridge-Regression]] · [[Lasso]] · [[Total-Least-Squares]]
+- 응용: [[Kalman-Filter-and-State-Tracking]] · [[Linear-Regression]] · [[Bundle-Adjustment]]
+- Adjacent: [[Maximum-Likelihood-Estimation]] · [[QR-Decomposition]]
+
+## 🤖 LLM 활용
+**언제**: Linear/affine model fit, baseline regression, calibration curves.
+**언제 X**: Outliers 다수 (use Huber/RANSAC), heavy non-linearity (use NN/GP).
+
+## ❌ 안티패턴
+- **Normal equation 남용**: 매 ill-conditioned에서 매 silently 망함.
+- **Outlier 무시**: L2 loss는 매 outlier 민감 — robust loss 고려.
+- **Multicollinearity 방치**: VIF 점검 또는 Ridge.
+
+## 🧪 검증 / 중복
+- Verified (Trefethen & Bau "Numerical Linear Algebra").
+- 신뢰도 A.
+
+## 🕓 Changelog
+| 날짜 | 변경 |
+|---|---|
+| 2026-05-08 | Phase 1 |
+| 2026-05-10 | Manual cleanup — OLS/Ridge/RLS patterns |