Wikify: Categorize all topics into folders and generate index pages

10_Wiki/Topics/AI_and_ML/Boosting-Algorithms-XGBoost-LightGBM.md

@@ -0,0 +1,27 @@
+---
+id: [[P-Reinforce|P-Reinforce]]-AI-BOOSTING
+category: Unified
+confidence_score: 1.0
+tags: [Boosting, XGBoost, LightGBM, Gradient Boosting, Machine Learning]
+last_reinforced: 2026-04-20
+---
+
+# [[Boosting-Algorithms-XGBoost-LightGBM|Boosting-Algorithms-XGBoost-LightGBM]] (부스팅 알고리즘)
+
+## 📌 한 줄 통찰 (The Karpathy Summary)
+> "오답 노트를 돌려보며 완벽해지는 군단." 약한 예측기(Weak Learners)를 순차적으로 학습시키되, 앞선 모델이 틀린 데이터에 가중치를 두어 성능을 계단식으로 끌어올리는 강력한 앙상블 기법이다.
+
+## 📖 구조화된 지식 (Synthesized Content)
+- **Gradient Boosting (GBM)**:
+    - 잔여 오차(Residual Error)를 새로운 모델의 목표값으로 삼아 경사 하강법으로 오차를 줄여나가는 방식.
+- **XGBoost (Extreme Gradient Boosting)**:
+    - GBM에 병렬 처리, 규제([[Regularization|Regularization]]) 기능을 더해 캐글(Kaggle) 등 데이터 경연 대회를 휩쓴 전설적인 라이브러리.
+- **LightGBM**:
+    - 대규모 데이터셋에서 속도와 메모리 효율을 극대화한 알고리즘. 리프 중심(Leaf-wise) 분할 방식으로 더 깊고 정밀한 나무를 만든다.
+
+## ⚠️ 모순 및 업데이트 (RL Update)
+- 부스팅 모델은 강력하지만 과적합([[Overfitting|Overfitting]])에 취약하다. 이를 위해 학습률(Learning rate)을 낮추고, 나무의 깊이를 제한하며, 조기 종료(Early stopping) 전략을 반드시 사용해야 한다.
+
+## 🔗 지식 연결 (Graph)
+- Related: Decision-Tree , [[Bias-Variance-Tradeoff|Bias-Variance-Tradeoff]]
+- Tool: Data-Science-Toolkit