ubuntu14.04中安装spark步骤

时间:2023-01-18 06:32:36

1.首先在官网下载http://spark.apache.org/downloads.html,选择与scala对应的版本,对应关系为:spark1.6.2--scala2.10;spark2.0.0--scala2.11

ubuntu14.04中安装spark步骤

在ubuntu中右键点击下载,选择复制链接,在终端中输入wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.2-bin-hadoop2.6.tgz(此处粘贴刚才复制的链接进行下载),或直接下载都可


2.解压下载的spark

输入tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz进行解压


3.在使用spark-shell时去除WARN级别的日志

1) 首先cd conf/ 进入到conf文件夹

2) 将log4j文件复制出来一份 cp  log4j.properties.template log4j.properties

3) 进入文件并将rootCategory 的级别改成WARN,输入 vi log4j.properties

ubuntu14.04中安装spark步骤

按a插入,修改INFO为WARN后,按ESC,输入:wq,保存退出