3. 集成学习（Ensemble Learning）随机森林（Random Forest）

时间：2022-09-04 08:16:06

1. 集成学习（Ensemble Learning）原理

2. 集成学习（Ensemble Learning）Bagging

3. 集成学习（Ensemble Learning）随机森林（Random Forest）

4. 集成学习（Ensemble Learning）Adaboost

5. 集成学习（Ensemble Learning）GBDT

6. 集成学习（Ensemble Learning）算法比较

7. 集成学习（Ensemble Learning）Stacking

1. 前言

相信看了之前关于集成学习的介绍，大家对集成学习有了一定的了解。本文在给大家介绍下远近闻名的随机森林（RF）算法。

随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法，尤其是它可以很方便的并行训练，在如今大数据大样本的的时代很有诱惑力。

2. 随机森林原理

随机森林是Bagging算法的进化版，也就是说，它的基本思想仍然和Bagging,但是进行了独有的改进。

  1. RF使用了CART决策树作为弱学习器，这让我们想到了梯度提示树GBDT。
  2. 在使用决策树的基础上，RF对决策树的建立做了改进，对于普通的决策树，我们会在节点上所有的n个样本特征中选择一个最优的特征来做决策树的左右子树划分，但是RF通过随机选择节点上的一部分样本特征，这个数字小于n，假设为\(n_{sub}\)，然后在这些随机选择的\(n_{sub}\)个样本特征中，选择一个最优的特征来做决策树的左右子树划分。这样进一步增强了模型的泛化能力。　

如果\(n_{sub}=n\)，则此时RF的CART决策树和普通的CART决策树没有区别。\(n_{sub}\)越小，则模型约健壮，当然此时对于训练集的拟合程度会变差。也就是说\(n_{sub}\)越小，模型的方差会减小，但是偏倚会增大。在实际案例中，一般会通过交叉验证调参获取一个合适的\(n_{sub}\)的值。

3. 随机森林算法

输入：为样本集\(D={(x_1,y_1),(x_2,y_2),...(x_m,y_m)}\)，弱分类器迭代次数\(T\)。
输出：为最终的强分类器\(f(x)\)

  1. 对于\(t=1,2...,T\):
    1. 对训练集进行第\(t\)次随机采样，共采集\(m\)次，得到包含\(m\)个样本的采样集\(D_t\)
    2. 用采样集\(D_t\)训练第t个决策树模型\(G_t(x)\)，在训练决策树模型的节点的时候， 在节点上所有的样本特征中选择一部分样本特征， 在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分
  2. 如果是分类算法预测，则\(T\)个弱学习器投出最多票数的类别或者类别之一为最终类别。如果是回归算法，\(T\)个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。

4. 随机森林的扩展

由于RF在实际应用中的良好特性，基于RF，有很多变种算法，应用也很广泛，不光可以用于分类回归，还可以用于特征转换，异常点检测等。下面对于这些RF家族的算法中有代表性的做一个总结。

4.1 Extra Trees

Extra Trees是RF的一个变种, 原理几乎和RF一模一样，仅有区别有：

  1. 对于每个决策树的训练集，RF采用的是随机采样bootstrap来选择采样集作为每个决策树的训练集，而Extra Trees一般不采用随机采样，即每个决策树采用原始训练集。
  2. 在选定了划分特征后，RF的决策树会基于基尼系数，均方差之类的原则，选择一个最优的特征值划分点，这和传统的决策树相同。但是Extra Trees比较的激进，他会随机的选择一个特征值来划分决策树。

从第二点可以看出，由于随机选择了特征值的划分点位，而不是最优点位，这样会导致生成的决策树的规模一般会大于RF所生成的决策树。也就是说，模型的方差相对于RF进一步减少，但是偏倚相对于RF进一步增大。在某些时候，Extra Trees的泛化能力比RF更好。

4.2 Totally Random Trees Embedding

Totally Random Trees Embedding(以下简称 TRTE)是一种非监督学习的数据转化方法。它将低维的数据集映射到高维，从而让映射到高维的数据更好的运用于分类回归模型。我们知道，在支持向量机中运用了核方法来将低维的数据集映射到高维，此处TRTE提供了另外一种方法。

TRTE在数据转化的过程也使用了类似于RF的方法，建立\(T\)个决策树来拟合数据。当决策树建立完毕以后，数据集里的每个数据在\(T\)个决策树中叶子节点的位置也定下来了。比如我们有3颗决策树，每个决策树有5个叶子节点，某个数据特征x划分到第一个决策树的第2个叶子节点，第二个决策树的第3个叶子节点，第三个决策树的第5个叶子节点。则x映射后的特征编码为(0,1,0,0,0, 0,0,1,0,0, 0,0,0,0,1), 有15维的高维特征。这里特征维度之间加上空格是为了强调三颗决策树各自的子编码。

映射到高维特征后，可以继续使用监督学习的各种分类回归算法了。

5. 总结

RF的算法原理也终于讲完了，作为一个可以高度并行化的算法，RF在大数据时候大有可为。 这里也对常规的随机森林算法的优缺点做一个总结。

RF的主要优点有：

  1. 训练可以高度并行化，对于大数据时代的大样本训练速度有优势。个人觉得这是的最主要的优点。
  2. 由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。
  3. 在训练后，可以给出各个特征对于输出的重要性。
  4. 由于采用了随机采样，训练出的模型的方差小，泛化能力强。
  5. 相对于Boosting系列的Adaboost和GBDT， RF实现比较简单。
  6. 对部分特征缺失不敏感。

RF的主要缺点有：

  1. 在某些噪音比较大的样本集上，RF模型容易陷入过拟合。
  2. 取值划分比较多的特征容易对RF的决策产生更大的影响，从而影响拟合的模型的效果。

相关文章