CART:分类回归树
分类树和回归树的区别:分裂节点时使用的节点非纯度量(最小化准则、特征选择)不一样,修剪树的准则不一样
回归树:
节点非纯度量:平方误差和
区域估计值:均值(在给定的划分下,均值带来的平方误差和最小)
分类树:
节点非纯度量:误分类误差、Gini指数、熵
区域估计值:多数类
GBRT/GBDT:第m次训练使用的数据集为(xi,rmi),i=1...N,其中rmi表示前m-1棵树组成的模型fm-1在样本(xi,yi)上损失函数的负梯度(延f(x)方向)
CART:分类回归树
分类树和回归树的区别:分裂节点时使用的节点非纯度量(最小化准则、特征选择)不一样,修剪树的准则不一样
回归树:
节点非纯度量:平方误差和
区域估计值:均值(在给定的划分下,均值带来的平方误差和最小)
分类树:
节点非纯度量:误分类误差、Gini指数、熵
区域估计值:多数类
GBRT/GBDT:第m次训练使用的数据集为(xi,rmi),i=1...N,其中rmi表示前m-1棵树组成的模型fm-1在样本(xi,yi)上损失函数的负梯度(延f(x)方向)