32 lines
2.4 KiB
Markdown
32 lines
2.4 KiB
Markdown
---
|
|
id: P-REINFORCE-AUTO-ENLE-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 0.97
|
|
tags: [auto-reinforced, ensemble-learning, machine-learning, bagging, boosting, stacking]
|
|
last_reinforced: 2026-04-20
|
|
---
|
|
|
|
# [[Ensemble-Learning]]
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "다수결의 승리: 하나의 강력한 모델에 의존하는 대신, 여러 개의 다양한 모델(Weak Learners)의 예측 결과를 결합하여 개별 모델의 오류를 서로 상쇄하고 전체적인 정확도와 안정성을 극대화하는 알고리즘적 집단 지성."
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
앙상블 학습(Ensemble-Learning)은 여러 개의 학습 알고리즘을 사용하여 단일 학습 알고리즘보다 더 나은 예측 성능을 얻는 기법입니다.
|
|
|
|
1. **3대 주요 기법**:
|
|
* **Bagging (Bootstrap Aggregating)**: 데이터를 무작위로 추출하여 여러 부분 집합을 만들고 각각 학습 (예: Random Forest). 분산(Variance) 감소에 효과적.
|
|
* **Boosting**: 이전 모델이 틀린 부분에 가중치를 두어 순차적으로 학습 (예: XGBoost, LightGBM). 편향(Bias) 감소에 효과적.
|
|
* **Stacking**: 여러 모델의 예측 결과를 다시 다른 모델의 입력으로 넣어 최종 결정.
|
|
2. **왜 중요한가?**:
|
|
* 단일 모델의 오버피팅(Overfitting) 위험을 줄이고, 정밀한 정답이 필요한 경진대회나 실무 보안 시스템 등에서 최후의 성능 한계를 돌파하는 방법임.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌**: 과거에는 복잡성 때문에 '단일 정교 모델 정책'을 선호했으나, 현대 정책은 데이터의 불확실성을 극복하기 위해 '앙상블을 통한 다각도 검증 정책'이 기본 모델링 정책임(RL Update). (Collective-Intelligence와 연결)
|
|
- **정책 변화(RL Update)**: 거대 언어 모델 환경에서도 하나의 에이전트 대신 여러 에이전트 간 토론 과정을 거쳐 정답을 도출하는 '멀티 에이전트 앙상블 정책'이 답변의 정확도(Accuracy) 정책을 높이는 데 사용됨.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Collective-Intelligence]], [[Optimization]], [[Quality Gates]], [[Signal in Noise]], Bias-Variance Tradeoff
|
|
- **Modern Tech/Tools**: Scikit-Learn (Ensemble module), XGBoost, CatBoost, Multi-Agent systems.
|
|
---
|