XGBoost、LightGBM参数讲解及实战

时间：2024-10-19 08:36:22

XGBoost

一、API详解

1.1 参数
1.1.1 通用参数：
  • booster=‘gbtree’ 使用的提升数的种类 gbtree, gblinear or dart
  • silent=True: 训练过程中是否打印日志
  • n_jobs=1: 并行运行的多线程数
1.1.2 提升树参数
  • learning_rate=0.1: 训练的学习率，和梯度下降差不多
  • max_depth=3: 树的最大深度
  • gamma=0
  • n_estimators=100: 要拟合的树的棵树，可以认为是训练轮数
  • min_child_weight=1: 叶结点的最小权重
  • subsample=1: 训练样本的抽样比率，行索引
  • colsample_bytree=1: 特征的抽样比率，列索引
  • reg_alpha=0: L1正则化系数
  • reg_lambda=1: L2正则化系数
1.1.3 学习任务参数
  • objective=‘binary:logistic’ 确定学习任务和相应的学习函数
"reg:linear" -线性回归
"reg:logistic" -逻辑回归
"binary:logistic" -二分类逻辑回归，输出概率
"binary:logitraw" -二分类逻辑回归，输出未logistic变换前的得分

"multi:softmax"
"multi:softprob"

  • random_state=0: 随机种子数

  • missing=None: 缺失值处理办法

  • max_delta_step=0,

  • colsample_bylevel=1

  • scale_pos_weight=1,

  • base_score=0.5,

  • nthread=None: 弃用，改用n_jobs

  • seed=None：弃用，改用random_state

1.1.4 控制过拟合：
  • 降低模型复杂度：max_depth, min_child_weight and gamma
  • 对样本随机采样：subsample, colsample_bytree
  • 降低学习率，同时相应提高训练轮数
1.2 方法：
1.2.1 fit

  • X： 特征矩阵

  • y: 标签

  • sample_weight=None: 没一个样本的权重

  • eval_set=None: (X,y)验证集，用于检测提前结束训练

  • eval_metric=None: 评价指标

"rmse"
"mae"
"logloss"
"error":二分类错误率，阈值是0.5
"error@t":和error类似，阈值为t
"mlogloss"
"auc"
  • early_stopping_rounds=None: 提前结束轮数
  • verbose=True,
  • xgb_model=None,
  • sample_weight_eval_set=None
1.2.2 predict(data, output_margin=False, ntree_limit=0)

返回预测类别，数据类型，阈值不好控制

1.2.3 predict_proba(data, ntree_limit=0)

预测每一个数据，成为给定类别的概率

Lightgbm：

核心参数：

  • ’objective’: (objective_type, app, application)
    • 回归任务：
      • ‘regression’（默认）
      • ‘poisson’
      • ‘tweedie’
    • 分类任务：
      • ‘binary’：二分类
      • ‘multiclass’：多分类
  • ’boosting_type’:(boosting_type, boost)
    • ‘gbdt’：传统的梯度提升决策树 （默认）
    • ‘rf’：随机森林
    • ‘dart’：Dropouts meet Multiple Additive Regression Trees
    • ‘goss’：Gradient-based One-Side Sampling 训练更快，可能欠拟合
  • data：训练数据
  • valid：验证数据集
  • ’num_iteration’:(num_trees, n_estimators)
    • 迭代次数，100（默认）
  • ’learning_rate’:(eta, shrinkage_rate)
    • 衰减因子，0.1（默认）
  • seed:(random_state, random_seed)
  • num_threads:(n_jobs, nthreads)
  • num_leaves:
    • 单棵树的最大叶子数，31（默认）

控制学习参数：

  • ’max_depth’:
    • 树的最大深度，-1（默认），无限制
    • 可用于控制过拟合
  • ’lambda_l2’:(reg_lambda, lambda)
    • L2正则化，0（默认）
  • ’lambda_l1’:(reg_alpha)
    • L1正则化，0（默认）
  • ’min_data_in_leaf’(min_data, min_child_samples)
    • 一个叶子的最小数据量，20（默认）
    • 可用于控制过拟合
  • ’subsample’: (sub_row, bagging, bagging_fraction)
    • 对样本进行采样，1（默认）
    • 可用于控制过拟合
  • ’sub_feature’: (colsample_bytree, feature_fraction)
    • 对特征进行采样，1（默认）
    • 加速训练，控制过拟合
  • early_stopping: (early_stopping_round)
    • 有验证集的话，提前停止的轮数
  • ’verbose’: (verbosity)
    • 训练日志显示数，1（默认）

对比表

参数 Lightgbm XGBoost
模型参数 boosting_type=‘gbdt’/‘dart’/‘goss’/‘rf’ boosting_type=‘gbdt’(gbdt,dart,goss,rf)
num_leaves=31
max_depth=-1(no limit)
n_estimators=100
learning_rate=0.1
subsample_for_bin=200000
objective=‘regression’/'binary/multiclass)
class_weight=(dict, ‘balanced’ or None)用于多分类
min_split_gain=0 分裂的最小增益
min_split_weight=1e-3 分裂的最小海森值
subsample=1 训练样本采样率(行)
colsample_bytree=1 训练特征采样率(列)
lambda_l1=0：L1正则化系数
lambda_l2=0.0: L2正则化系数
random_state=None: 随机种子数
n_jobs=-1: 多线程数
max_bin=255
importance_type=split’/‘gain’
fit X,y
eval_set=None([(X_train, y_train), (X_valid, y_valid)])
early_stopping_rounds=None
categorical_feature=‘auto’
verbose=True
eval_metric=None
metrics l1/mae
l2/mse(regression)
l2_root/rmse
binary_logloss(bi-classification)
auc
multi_logloss

参考资料：

1. XGBoost和LightGBM的参数以及调参
2. Xgboost参数调优的完整指南及实战
3. LightGBM调参笔记
4. LightGBM 调参方法（具体操作）
5. LightGBM源码阅读+理论分析（处理特征类别，缺省值的实现细节） 6. 开源 | LightGBM：三天内收获GitHub 1000 星
7. 『我爱机器学习』集成学习（四）LightGBM

相关文章