1.首先在官网下载http://spark.apache.org/downloads.html,选择与scala对应的版本,对应关系为:spark1.6.2--scala2.10;spark2.0.0--scala2.11
在ubuntu中右键点击下载,选择复制链接,在终端中输入wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.2-bin-hadoop2.6.tgz(此处粘贴刚才复制的链接进行下载),或直接下载都可
2.解压下载的spark
输入tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz进行解压
3.在使用spark-shell时去除WARN级别的日志
1) 首先cd conf/ 进入到conf文件夹
2) 将log4j文件复制出来一份 cp log4j.properties.template log4j.properties
3) 进入文件并将rootCategory 的级别改成WARN,输入 vi log4j.properties
按a插入,修改INFO为WARN后,按ESC,输入:wq,保存退出