chore(wiki): reinforce knowledge batch #11-#12 (240 docs milestone)
This commit is contained in:
@@ -1,28 +1,28 @@
|
||||
---
|
||||
id: GAUSS-001
|
||||
id: MATH-GP-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [machine-learning, statistics, bayesian, regression]
|
||||
tags: [statistics, machine-learning, gaussian-processes, bayesian-inference, uncertainty]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Gaussian Processes (가우스 과정)]]
|
||||
# [[Gaussian Processes (가우시안 프로세스)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "함수들의 확률 분포를 정의하라" — 유한한 샘플 데이터를 바탕으로 미지의 함수 값뿐만 아니라 그 값의 불확실성(Confidence)까지 동시에 예측하는 비모수적 베이지안 회로 모델.
|
||||
> "데이터를 지나는 무한히 많은 함수들의 분포를 정의하고, 가장 가능성 높은 길과 그 확신도를 계산하라" — 함수 자체를 무한 차원의 가우시안 분포로 취급하여, 어떤 입력에 대한 출력값을 평균과 표준편차를 가진 확률 분포로 제공하는 강력한 회귀 및 분류 도구.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** 입력 공간의 어떤 점들의 집합에 대해서도 가우스 분포(정규 분포)를 따른다고 가정하고, 데이터 간의 유사도(Kernel)를 정의하여 함수의 흐름을 추론하는 패턴.
|
||||
- **세부 내용:**
|
||||
- **Kernel Function (Covariance):** 두 지점이 얼마나 유사한 행동을 보일지 정의 (예: RBF 커널). 모델의 유연성을 결정.
|
||||
- **Mean & Variance:** 예측값뿐만 아니라 그 지점에서의 오차 범위(불확실성)를 함께 출력함.
|
||||
- **Bayesian Inference:** 새로운 데이터가 들어올 때마다 사후 분포(Posterior)를 업데이트하여 모델을 정교화.
|
||||
- **Non-parametric:** 데이터가 늘어날수록 모델의 복잡도가 자동으로 적응하며, 파라미터 개수가 고정되어 있지 않음.
|
||||
- **추출된 패턴:** 입력 데이터 간의 유사성을 커널 함수(Kernel Function)로 정의하고, 가까운 지점은 비슷한 값을 가질 것이라는 믿음을 바탕으로 미지의 영역을 추론하는 베이지안 비모수 패턴.
|
||||
- **핵심 요소:**
|
||||
- **Mean Function:** 데이터가 없을 때의 기본 예측값 (보통 0).
|
||||
- **Kernel (Covariance) Function:** 두 입력 사이의 관계(부드러움, 주기성 등)를 결정하는 핵심 파라미터.
|
||||
- **Bayesian Inference:** 새로운 관측 데이터가 유입될 때마다 사후 분포(Posterior)를 업데이트하여 불확실성 정제.
|
||||
- **의의:** 딥러닝과 달리 모델의 '모름(Uncertainty)'을 정량화할 수 있어, 최적화(Bayesian Optimization)나 소량 데이터 학습에서 필수적으로 사용됨.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 데이터가 많아질수록 연산 비용($O(N^3)$)이 급증하는 한계가 있었으나, 최근에는 희소 가우스 과정(Sparse GP) 등의 기법으로 대규모 데이터 처리 가능해짐.
|
||||
- **정책 변화:** AI 에이전트의 하이퍼파라미터 최적화(Bayesian Optimization) 과정에서 탐색과 활용의 균형을 맞추기 위한 핵심 알고리즘으로 사용됨.
|
||||
- **과거 데이터와의 충돌:** 연산 복잡도가 데이터 수의 세제곱($O(n^3)$)에 비례하여 대규모 데이터 처리가 불가능했으나, 최근에는 희소 근사(Sparse approximation) 기법을 통해 수백만 개의 데이터도 처리 가능하도록 진화.
|
||||
- [[Epistemic-Uncertainty]]를 정밀하게 측정하는 데 가장 적합한 도구로 재평가됨.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Bayesian-Inference]], [[Regression-Analysis]], [[Kernel-Methods]], [[Optimization]]
|
||||
- [[Epistemic-Uncertainty]], [[Bayesian-Inference]], [[Black-Box-Optimization]], [[Regression-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Gaussian-Processes.md]]
|
||||
|
||||
Reference in New Issue
Block a user