文件名称：Spark ml pipline交叉验证之决策树回归.docx
文件大小：21KB
文件格式：DOCX
更新时间：2022-08-30 10:30:09
Spark ml pipline
Spark ml pipline交叉验证之决策树回归 //ML的VectorAssembler是一个transformer,要求数据类型不能是string，将多列数据转化为单列的向量列，比如把age、income等等字段列合并成一个 userFea 向量列，方便后续训练 //创建机器学习工作流 //创建回归评估器，用于基于训练集的多次训练后的模型选择 //获取最大迭代次数和正则参数，一共可以训练出（maxDepths*maxBins）个模型 //创建交叉验证器，他会把训练集分成NumFolds份，然后在其中(NumFolds-1)份里进行训练 //在其中一份里进行测试，针对上面的每一组参数都会训练出NumFolds个模型，最后选择一个最优的模型