1. 引入
1.1 决策树
为达到目标根据一定的条件进行选择的过程，就是决策树，决策树模型非常经典，在机器学习中常被用于分类，构成它的元素是节点和边，节点会根据样本的特征做出判断，最初的分支点被称为根节点，其余成为子节点，没有分支的点是叶子节点，代表分类结果。
决策树的衡量标准是熵。在热力学中，熵被用来描述一个系统内在的混乱程度；在决策树中，熵代表是分支下样本种类的丰富性，样本种类越多越混乱，熵就越大。如果分支下的样本完全属于同一类，熵就为0。构造树的基本思路就是随着树是深度也就是层数的增加，让熵快速降低，熵降低的速度越快，代表决策树分类效率越高。
优点：是天然可解释性，苹果之所以是好苹果，是因为它又大又红又甜、
缺点：容易过拟合。解决方法很简单：去掉一些分支，剪枝有两种：预剪枝是在训练开始前规定条件，比如树达到某一深度就停止训练；后剪枝则是先找到树，再依据一定条件如限制叶子结点的个数，去掉一部分分支。
1.2 随机森林
森林里有许多数，随机森林里有很多决策树，随机森林是决策树的升级版，随机指的是树的生长过程，世界上没有两片相同的树叶，随机森林中的树也各不相同。
在构建决策树时，我们会从训练数据中有放回的随机选取一部分样本，也不会使用数据的全部特征，而是随机选取部分特征进行训练，每棵树使用的样本和特征各不相同，训练的结果也自然不同。为什么这么做？在训练的最初，我们并不知道哪些是异常样本，也不知道哪些特征对分类结果影响更大，随机的过程降低了两者对分类结果的影响。随机森林的输出结果由投票决定，如果大部分决策树认为测试结果是好苹果，我们就认为他是好苹果。
由于树与树之间的独立，他们可以同时训练，不需要花费太长时间，随机的过程让它不容易过拟合，能处理特征较多的高维数据，也不需要做特征选择，合理训练后准确性很高，不知道用什么分类方法时，先试试随机森林准没错。
在机器学习中，随机森林属于集成学习，也就是将多个模型组合起来解决问题，这些模型会独立学习、预测、再投票出结果，准确度往往比单独的模型高很多。除了决策树，还可以使用神经网络等其他模型，同样的，集成学习内部不必是同样的模型，神经网络和决策树可以共存于一个系统中。
1.3 GBDT(Gradient Boosting Decision Tree)梯度提升决策树
GBDT在搜索、广告、推荐系统等领域有广泛应用，能处理标签、数值等各类数据，解释性强。由于树与树之间的相互依赖，需要较长的训练时间。
运用多个模型共同解决问题，GBDT自然属于集成学习。
在集成学习中，一个模型依赖于上一个模型，共同逼近正确答案的方法（如GBDT）被称为Boosting提升；模型间相互独立共同投票出结果的方法（如随机森林），则被称为Bagging装袋；还有一种Stacking堆叠，是在多个模型的基础上放置一个更高层的模型，将底层模型的输出作为它的输入，由它给出最终的预测结果。
1.4 XGBoost（eXtreme Gradient Boosting）极端梯度提升
XGBoost是GBDT的优秀版本，是一种基于决策树的集成机器学习算法，使用梯度上升框架，适用于分类和回归问题。
XGBoost的整体结构与GBDT一致，都是在训练出一棵树的基础上，再训练下一棵树，预测它与真实分布间的差距，通过不断训练用来弥补差距的树，最终使用树的组合实现对称式分布。
优点：
①它的目标函数包括损失函数和正则项部分。损失函数代表模型拟合数据的程度，我们通常使用一阶导数指出其梯度下降的方向，XGBoost还计算了它的二阶导数，进一步考虑了梯度变化的趋势，收敛更快、精度更高；正则项用来控制模型的复杂程度，叶子节点越多，模型越大，运行时间越长，超过一定限度后模型过拟合会导致精度下降，XGBoost的正则项是一个惩罚机制，叶子节点的数目越多，惩罚力度越大，从而限制他们的数量。
②加快了计算速度。树的构建中，最耗时的部分是为确定最佳分裂点而进行的特征值排序，XGBoost在训练前会先将特征进行排序，存储为Block结构，可以实现并行处理，此后重复使用此结构来减少计算量。
③善于捕捉复杂数据间的依赖关系，能从大规模数据中获取有效模型，在实用性上支持多种系统语言。XGBoost 允许⽤户定义⾃定义优化⽬标和评价标准它对模型增加了⼀个全新的维度，所以我们的处理不会受到任何限制，有着高度的灵活性。
④缺失值处理
XGBoost内置处理缺失值的规则。⽤户需要提供⼀个和其它样本不同的值，然后把它作为⼀个参数传进去，以此来作为缺失值的取值。XGBoost在不同节点遇到缺失值时采⽤不同的处理⽅法，并且会学习未来遇到缺失值时的处理⽅法。
⑤内置交叉验证
XGBoost允许在每⼀轮boosting迭代中使⽤交叉验证。因此，可以⽅便地获得最优boosting迭代次数。⽽GBM使⽤⽹格搜索，只能检测有限个值。
缺点：在高维稀疏特征数据集和小规模数据集上表现不是很好。
代码实现
决策树分类：
import pandas as pd
# from sklearn.inspection import permutation_importance
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.ensemble import RandomForestClassifier
from xgboost.sklearn import XGBClassifier
# 处理数据 找出目标值和特征值X, y
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state= 22)
dec = DecisionTreeClassifier()
gbc = GradientBoostingClassifier()
rfc = RandomForestClassifier()
xgbc = XGBClassifier()
dec.fit(X_train,y_train)
rfc.fit(X_train,y_train)
gbc.fit(X_train,y_train)
xgbc.fit(X_train,y_train)
y_pred = dec.predict(X_test)) # 预测测试集
# print("训练集准确率：%s"%clas.score(X_train,y_train)) #输出训练集准确度
print("DecisionTreeClassifier准确率为：",dec.score(X_test,y_test))
print("RandomForestClassifier准确率为：",rfc.score(X_test,y_test))
print("GradientBoostingClassifier准确率为：",gbc.score(X_test,y_test))
print(metrics.classification_report(y_test, y_pred) # 输出结果，精确度、召回率、f-1分数
print(metrics.confusion_matrix(y_test, y_pred)) # 混淆矩阵
决策树回归：
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score,mean_squared_error
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.ensemble import GradientBoostingRegressor
from xgboost import XGBRegressor
# 处理数据 找出目标值和特征值X, y
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.22, random_state= 22)
dtr = DecisionTreeRegressor( criterion='mse', random_state=22)
rfr = RandomForestRegressor(n_estimators=1000, criterion='mse', random_state=22, n_jobs=-1)
gbr = GradientBoostingRegressor(n_estimators=1000, criterion='mse', random_state=22)
xgbr = GradientBoostingRegressor(n_estimators=1000, criterion='mse', random_state=22)
rfr.fit(X_train, y_train)
y_train_pred = rfr.predict(X_train)
y_test_pred = rfr.predict(X_test)
print('MSE train: %.3f, test: %.3f' % (mean_squared_error(y_train, y_train_pred), mean_squared_error(y_test, y_test_pred)))
print('R^2 train: %.3f, test: %.3f' % (r2_score(y_train, y_train_pred), r2_score(y_test, y_test_pred)))
特征重要度：
# 特征重要性
from xgboost import plot_importance
from matplotlib import pyplot as plt
plot_importance(model)
plt.show()
2. XGBoost vs GBDT
2.1 比较
• 性质：GBDT是机器学习算法，XGBoost除了算法内容还包括一些工程实现方面的优化。
• 基于二阶导：GBDT使用的是损失函数一阶导数，相当于函数空间中的梯度下降；而XGBoost还使用了损失函数二阶导数，相当于函数空间中的牛顿法。
• 正则化：XGBoost显式地加入了正则项来控制模型的复杂度，能有效防止过拟合。
• 列采样：XGBoost采用了随机森林中的做法，每次节点分裂前进行列随机采样。
• 缺失值处理：XGBoost运用稀疏感知策略处理缺失值，而GBDT没有设计缺失策略。
• 并行高效：XGBoost的列块设计能有效支持并行运算，提高效率。
2.2 优点
• 算法本身的优化：首先GBDT只支持决策树，Xgboost除了支持决策树，可以支持多种弱学习器，可以是默认的gbtree, 也就是CART决策树，还可以是线性弱学习器gblinear以及DART；其次GBDT损失函数化简的时候进行的是一阶泰勒公式的展开，而Xgboost使用的是二阶泰勒公式的展示。还有一点是Xgboost的目标函数加上了正则项，这个正则项是对树复杂度的控制，防止过拟合。
• 可以处理缺失值。尝试通过枚举所有缺失值在当前节点是进入左子树，还是进入右子树更优来决定一个处理缺失值默认的方向
• 运行效率：并行化，单个弱学习器最耗时的就是决策树的分裂过程，对于不同特征的特征分裂点，可以使用多线程并行选择。这里想提一下，我自己理解，这里应该针对的是每个节点，而不是每个弱学习器。这里其实我当时深究了一下，有点混乱。为什么是针对每个节点呢？因为我每个节点也有很多特征，所以在每个节点上，我并行（多线程）除了多个特征，每个线程都在做寻找增益最大的分割点。还有需要注意的一点是Xgboost在并行处理之前，会提前把样本按照特征大小排好序，默认都放在右子树，然后递归的从小到大拿出一个个的样本放到左子树，然后计算对基于此时的分割点的增益的大小，然后记录并更新最大的增益分割点
参考：https://blog.csdn.net/weixin_45928096/article/details/124848415