梯度提升决策树(GBDT)

时间:2021-04-25 07:56:36

1.提升树

  以决策树为基函数的提升方法称为提升树。决策树可以分为分类树和回归树。提升树模型可以表示为决策树的加法模型。

梯度提升决策树(GBDT)

  针对不同的问题的提升术算法的主要区别就是损失函数的不同,对于回归问题我们选用平方损失函数,对于分类问题,我们使用指数损失函数。特别的,对于二分类问题,我们提升树就是把AdaBoost的基分类器选为二分类树即可。

  对于回归问题的提升树,我们每一步都是在拟合残差,为什么是在拟合残差?,看公式

                                     梯度提升决策树(GBDT)

  其中,r代表的就是残差。我们并不是说我们在拟合残差,而是说我们对于回归问题,选用平方损失函数,然后推导求解fm时,可以认为它是在拟合残差。

  对应的回归问题的提升算法如下:

  梯度提升决策树(GBDT)

  (1)初始化f0

  (2)对m = 1,2,3...,M

    (2.1) 计算每一个数据的残差:

                   梯度提升决策树(GBDT)

   (2.2)拟合残差学习一颗回归树,得到梯度提升决策树(GBDT)

   (2.3)梯度提升决策树(GBDT)

(3)得到回归问题的提升树

          梯度提升决策树(GBDT)

  以上就是提升树的内容,主要理解为什么说提升树是拟合残差的,数学推导

2.梯度提升树

  梯度提升的思想主要借鉴了梯度下降法。

  梯度提升决策树(GBDT)