统计学习方法gbdt

学习方法 2025-07-23 10:25语文学习方法www.ettschool.cn

GBDT（梯度提升决策树）是一种基于Boosting思想的集成学习算法，通过迭代构建多棵决策树来逐步优化模型预测效果。以下是其核心要点：

1. 基础原理

每轮迭代训练一棵新树来拟合当前模型的负梯度（即残差），通过加权累加多棵树的预测结果得到最终输出

即使处理分类问题，弱评估器也必须是回归树，最终通过sigmoid/softmax函数输出分类结果

2. 关键特性

采用加法训练策略，通过控制树和学习率防止过拟合

支持自定义损失函数（如MSE、对数损失等），适用于回归/分类/排序任务

经典实现包括XGBoost、LightGBM等优化版本

3. 训练流程（以分类为例）

① 初始化模型：用正类对数几率作为初始预测值

② 迭代构建回归树：

计算概率与梯度（负梯度=真实标签-预测概率）

拟合残差生成新树，更新模型预测值

③ 输出最终模型：叠加所有树的预测结果

4. 节点分裂方法

对特征值排序后计算候选阈值，选择使损失函数最小化的分裂点

- 通过统计量G（梯度之和）和H（二阶导数和）计算分裂增益