CART-GBRT-GBDT

时间:2021-12-17 19:24:11

CART:分类回归树

分类树和回归树的区别:分裂节点时使用的节点非纯度量(最小化准则、特征选择)不一样,修剪树的准则不一样

回归树:

  节点非纯度量:平方误差和

  区域估计值:均值(在给定的划分下,均值带来的平方误差和最小)

分类树:

  节点非纯度量:误分类误差、Gini指数、熵

区域估计值:多数类

GBRT/GBDT:第m次训练使用的数据集为(xi,rmi),i=1...N,其中rmi表示前m-1棵树组成的模型fm-1在样本(xi,yi)上损失函数的负梯度(延f(x)方向)

相关文章