Machine Learning With Spark学习笔记(提取10万电影数据特征)

时间:2022-01-24 05:36:39

注:原文中的代码是在spark-shell中编写运行的,本人的是在eclipse中编写运行,所以结果输出形式可能会与这本书中的不太一样。

首先将用户数据u.data读入SparkContext中。然后输出第一条数据看看效果。代码例如以下:

val sc = new SparkContext("local", "ExtractFeatures")
val rawData = sc.textFile("F:\\ScalaWorkSpace\\data\\ml-100k\\u.data")
println(rawData.first())

注意:第一行代码我创建了spark上下文,假设你是在spark-shell中运行代码。它会自己主动创建好spark上下文,名字为sc,我是在eclipse中编写代码。所以须要自己编写代码创建spark上下文,我们能够看到有例如以下输出:

Machine Learning With Spark学习笔记(提取10万电影数据特征)

每条数据是由“\t”分隔的,我们如今要取出每条数据,然后再取到每条数据的前三个元素。即用户ID。电影ID,用户给电影的评分,代码例如以下:

val rawRatings = rawData.map(_.split("\t").take(3))
rawRatings.first().foreach(println)

能够看到相似例如以下的输出:

Machine Learning With Spark学习笔记(提取10万电影数据特征)

接下来我们将使用spark内置的MLlib库来训练我们的模型。先来看看有哪些方法能够使用,须要什么參数作为输入。首先我们导入内置库文件ALS:

import org.apache.spark.mllib.recommendation.ALS

接下来的操作是在spark-shell中完毕的。在控制台下输入ALS.(注意ALS后面有一个点)加上tap键:

Machine Learning With Spark学习笔记(提取10万电影数据特征)

我们将要使用到的方法是train方法。

假设我们输入ALS.train,会返回一个错误,可是我们能够从这个错误中看看这种方法的细节:

Machine Learning With Spark学习笔记(提取10万电影数据特征)

能够看到,我们最少要提供三个參数:ratings,rank,iterations。第二个方法还须要另外一个參数lambda。我们先来看看參数rating的类Rating:

Machine Learning With Spark学习笔记(提取10万电影数据特征)

我们能够看到,我们须要向ALS模型提供一个包括Rating的RDD。Rating将user id。movie id(就是这里的product)和rating封装起来。

我们将在评分数据集(rating dataset)上使用map方法。将ID和评分的数组转换成Rating对象:

val ratings = rawRatings.map {
case Array(user, movie, rating) =>
Rating(user.toInt, movie.toInt, rating.toDouble)
}
println(ratings.first())

输出例如以下:

Machine Learning With Spark学习笔记(提取10万电影数据特征)

如今我们得到了一个Rating类型的RDD。