---
id: [[P-Reinforce|P-Reinforce]]-AI-BOOSTING
category: Dev
confidence_score: 1.0
tags: [Boosting, XGBoost, LightGBM, Gradient Boosting, Machine Learning]
last_reinforced: 2026-04-20
---

# [[Boosting-Algorithms-XGBoost-LightGBM|Boosting-Algorithms-XGBoost-LightGBM]] (부스팅 알고리즘)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "오답 노트를 돌려보며 완벽해지는 군단." 약한 예측기(Weak Learners)를 순차적으로 학습시키되, 앞선 모델이 틀린 데이터에 가중치를 두어 성능을 계단식으로 끌어올리는 강력한 앙상블 기법이다.

## 📖 구조화된 지식 (Synthesized Content)
- **Gradient Boosting (GBM)**:
    - 잔여 오차(Residual Error)를 새로운 모델의 목표값으로 삼아 경사 하강법으로 오차를 줄여나가는 방식.
- **XGBoost (Extreme Gradient Boosting)**:
    - GBM에 병렬 처리, 규제([[Regularization|Regularization]]) 기능을 더해 캐글(Kaggle) 등 데이터 경연 대회를 휩쓴 전설적인 라이브러리.
- **LightGBM**:
    - 대규모 데이터셋에서 속도와 메모리 효율을 극대화한 알고리즘. 리프 중심(Leaf-wise) 분할 방식으로 더 깊고 정밀한 나무를 만든다.

## ⚠️ 모순 및 업데이트 (RL Update)
- 부스팅 모델은 강력하지만 과적합([[Overfitting|Overfitting]])에 취약하다. 이를 위해 학습률(Learning rate)을 낮추고, 나무의 깊이를 제한하며, 조기 종료(Early stopping) 전략을 반드시 사용해야 한다.

## 🔗 지식 연결 (Graph)
- Related: Decision-Tree , [[Bias-Variance-Tradeoff|Bias-Variance-Tradeoff]]
- Tool: Data-Science-Toolkit