Probability Theory Foundations (확률론 기초)

📌 한 줄 통찰 (The Karpathy Summary)

"세상의 모든 우연과 불확실성을 수치화된 '확신'의 언어로 번역하여, 기계가 가설을 세우고 결론을 내릴 수 있는 논리적 기반을 제공하라" — 무작위 현상을 수학적으로 모델링하고 분석하여, 어떤 사건이 발생할 가능성을 측정하는 수학적 학문.

추출된 패턴: "Axiomatic Reasoning and Distributional Modeling" — 표본 공간(Sample Space) 내에서 사건이 발생할 확률의 공리를 세우고, 무작위 변수(Random Variables)의 분포를 통해 현상의 기저를 설명하는 패턴.
핵심 개념:
- Probability Axioms: 모든 확률은 0과 1 사이이며, 전체 합은 1임.
- Random Variables: 무작위 사건의 결과를 수치로 매핑 (이산형 vs 연속형).
- Distributions: 데이터의 형태를 결정 (정규분포, 베르누이, 포아송 등).
- Central Limit Theorem (중심극한정리): 표본이 커질수록 평균의 분포는 정규분포에 수렴한다는 통계의 핵심 정리.
의의: 딥러닝의 손실 함수 설계, 생성 모델의 샘플링, 강화학습의 기대 가치 계산 등 현대 AI의 모든 연산이 이 확률론적 기반 위에서 수행됨.

과거 데이터와의 충돌: 단순히 주사위를 던지는 확률을 넘어, 이제는 수조 개의 파라미터를 가진 신경망의 출력값(Logits)을 확률로 해석하고 이를 통해 지각과 생성의 경계를 허무는 '확률적 지능'으로 진화함.
정책 변화: Antigravity 프로젝트는 에이전트의 모든 답변에 대해 내부적인 확률 분포를 분석하여, 확신이 낮은 구간에서는 사용자에게 확인을 요청하거나 추가 정보를 탐색하는 '신뢰도 기반 응답' 프로토콜을 가동함.

Posterior-and-Prior-Probability, Maximum-Likelihood-Estimation-MLE, Probabilistic-Graphical-Models, Bayesian-Inference
Raw Source: 10_Wiki/Topics/AI/Probability-Theory-Foundations.md