2nd/10_Wiki/Topics_Blog/Principle-Component-Analysis.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-PPCA-001	10_Wiki/💡 Topics/AI	0.98	auto-reinforced pca dimension-reduction data-analysis machine-learning statistics	2026-04-20

Principle-Component-Analysis

📌 한 줄 통찰 (The Karpathy Summary)

"데이터의 엑스레이: 수백 개의 복잡한 변수 중에서 데이터의 본질적 변동(Variance)을 가장 잘 설명하는 핵심 축(주성분) 몇 개만 추려내어, 정보의 핵심은 살리고 노이즈와 군더더기는 걷어내는 고차원의 시각화 마법."

📖 구조화된 지식 (Synthesized Content)

주성분 분석(PCA)은 고차원의 데이터를 저차원으로 축소하면서 정보 손실을 최소화하는 통계적 기법입니다.

1. 작동 원칙:
   • 데이터가 가장 널리 퍼져 있는(분산이 큰) 방향을 첫 번째 주성분(PC_1)으로 설정.
   • 그 방향과 수직이면서 그다음 분산이 큰 곳을 $PC_2$로 설정. (Linear-Algebra와 연결)
2. 효과:
   • Dimension Reduction: 연산량 폭감. (Efficiency와 연결)
   • Visualization: 수백 차원의 데이터를 2~3차원으로 그려 한눈에 파악.
   • Noise Filtering: 분산이 작은 하위 주성분(잡음) 제거. (Noise와 연결)

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 선형적인 관계만 분석하는 정책(Linear PCA)이었으나, 현대 정책은 복잡하게 얽힌 데이터의 곡면까지 파악하는 '커널 PCA 정책'이나 '오토인코더(Autoencoder) 정책'으로 그 개념이 확장됨(RL Update).
• 정책 변화(RL Update): 단순히 데이터를 줄이는 정책을 넘어, LLM 내부의 거대한 임베딩 공간 정책이 어떤 구조를 가지고 있는지 분석하여 AI의 '사고 체계'를 엿보는 해석 도구 정책으로도 널리 활용 중임. (Explainable-AI (XAI)와 연결)

🔗 지식 연결 (Graph)

• Linear-Algebra, Noise, Efficiency, Explainable-AI (XAI), Optimization
• Modern Tech/Tools: Eigen-decomposition, SVD (Singular Value Decomposition), Scikit-learn (PCA).

---