从boost到Adaboost再到GBRT-GBDT-MART

时间:2021-07-08 20:45:56

本文是要配合《统计学习方法》才能看懂的,因为中间有些符号和定义是直接使用书本中的


 

先弄明白以下三个公式:

1)Boost(提升法)=加法模型(即基函数的线性组合)+前向分步算法+损失函数

2)Adaboost=Boost+损失函数是指数函数(基函数可以任意)

3)提升树=Boost+基函数是决策树(损失函数可以任意)

 由此可以看出:

1)Boost是一种算法框架,而这种框架是由加法模型和前向分步算法构成的。

2)Adaboost和提升树都是Boost的子集,都是由限定了Boost中某一部分元素而得到的。


 

前向分步算法(解决加法模型):每次学习一个基函数的参数Gm(x)(即下一个基函数)

下一个基函数的选择标准:在已经学习到加法模型fm-1(x)的基础上,选择一个使得损失最小的基函数Gm(x)


 

损失函数:

1)指数损失函数:决定了Adaboost必须进行加权取样(权重由错误率决定),以进行下一个模型的参数学习,并且决定了最终模型也是加权累计

2)平方误差损失函数:决定了BRT的下一个模型应该学习前一个模型的残差

3)一般损失函数:决定了GBRT/GBDT的下一个模型应该学习前一个模型的梯度(残差近似)


 

各种提升决策树

1)BDT(提升决策树,二分类):Adaboost中将模型选定为二类分类树,即二类分类树+指数损失—>加权【可以称为:提升分类树的Adaboost方法】

2)BRT(提升回归树):二叉回归树+平方误差损失—>残差

3)GBRT:二叉回归树+普通损失函数—>损失函数的负梯度(残差的替代)

4)GBDT:二叉分类树+普通损失函数—>损失函数的负梯度

当损失函数是平方误差损失时,其负梯度就是残差,即此时GBRT=BRT