2nd/10_Wiki/Topics/Boosting-Algorithms-XGBoost-LightGBM.md

---

id: P-Reinforce-AI-BOOSTING category: Unified confidence_score: 1.0 tags: [Boosting, XGBoost, LightGBM, Gradient Boosting, Machine Learning] last_reinforced: 2026-04-20

Boosting-Algorithms-XGBoost-LightGBM (부스팅 알고리즘)

📌 한 줄 통찰 (The Karpathy Summary)

"오답 노트를 돌려보며 완벽해지는 군단." 약한 예측기(Weak Learners)를 순차적으로 학습시키되, 앞선 모델이 틀린 데이터에 가중치를 두어 성능을 계단식으로 끌어올리는 강력한 앙상블 기법이다.

📖 구조화된 지식 (Synthesized Content)

• Gradient Boosting (GBM):
  • 잔여 오차(Residual Error)를 새로운 모델의 목표값으로 삼아 경사 하강법으로 오차를 줄여나가는 방식.
• XGBoost (Extreme Gradient Boosting):
  • GBM에 병렬 처리, 규제(Regularization) 기능을 더해 캐글(Kaggle) 등 데이터 경연 대회를 휩쓴 전설적인 라이브러리.
• LightGBM:
  • 대규모 데이터셋에서 속도와 메모리 효율을 극대화한 알고리즘. 리프 중심(Leaf-wise) 분할 방식으로 더 깊고 정밀한 나무를 만든다.

⚠️ 모순 및 업데이트 (RL Update)

• 부스팅 모델은 강력하지만 과적합(Overfitting)에 취약하다. 이를 위해 학습률(Learning rate)을 낮추고, 나무의 깊이를 제한하며, 조기 종료(Early stopping) 전략을 반드시 사용해야 한다.

🔗 지식 연결 (Graph)

• Related: Decision-Tree , Bias-Variance-Tradeoff
• Tool: Data-Science-Toolkit