Probability Theory

📌 한 줄 통찰 (The Karpathy Summary)

"우연의 정복: 무작위성 속에서 질서를 발견하고, 일어날 수 있는 미래의 사건들을 숫자로 관리하여 불확실성을 '통제 가능한 리스크'로 변환하는 수학적 도구."

확률론(Probability Theory)은 불확실한 사건을 수학적으로 정량화하고 분석하는 수학의 한 분야입니다.

기초 개념:
- Sample Space (표본 공간): 일어날 수 있는 모든 결과의 집합.
- Random Variable (확률 변수): 사건의 결과를 실수로 매핑한 함수.
- Probability Distribution (확률 분포): 확률 변수가 특정 값을 가질 확률을 나타낸 함숫값 (정규 분포, 베르누이 분포 등).
주요 법칙:
- Law of Large Numbers (대수의 법칙): 시행 횟수가 많아질수록 결과의 평균은 기댓값에 수렴함.
- Central Limit Theorem (중심 극한 정리): 데이터가 어떤 분포를 따르든, 그 합이나 평균은 데이터가 많아질수록 정규 분포에 가까워짐.
철학적 관점 (Interpretation):
- Frequentist (빈도주의): 확률은 사건이 반복될 때 나타나는 상대적 빈도.
- Bayesian (베이즈주의): 확률은 증거에 기반한 '지식의 확신 정도'. 데이터가 추가될수록 관점을 업데이트함.

과거 데이터와의 충돌: 과거에는 확률론이 도박이나 보험 통계에 국한되었으나, 현대 인공지능은 모든 데이터를 '확률 분포'로 인식하며 생성 모델(GenAI)은 이 분포에서 가장 그럴듯한 다음 조각을 추출하는 '대규모 확률 연산' 시스템으로 변모함.
정책 변화(RL Update): 알고리즘의 편향성과 차별 문제를 해결하기 위해, 확률적 공정성(Probabilistic Fairness) 지표를 모델 검증 정책에 포함하여 특정 집단이 확률적으로 부당한 대우를 받지 않도록 감시하는 거버넌스가 확립됨.