第一步在centos 6.5上安装java 运行环境
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
第二步安装hadoop,去
http://hadoop.apache.org/上下一个
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz
解压缩即可
第三步要装scala,去
http://www.scala-lang.org/download/上下一个
http://downloads.typesafe.com/scala/2.11.2/scala-2.11.2.rpm?_ga=1.193880237.1644075876.1409819439
在centos上直接rpm安装即可
第四步下载spark
http://spark.apache.org/downloads.html
根据自己的hadoop版本挑选一个预编译的spark,如(http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz),下完解压缩即可
或者下源码包自己编译(http://d3kbcqa49mib13.cloudfront.net/spark-1.0.2.tgz),自己编译maven可能被墙。
如果第四步选的是源码包,那还有第五步编译
即解压缩spark源码包以后,进入源代码目录执行sbt/sbt assembly,自己就会下载相应文件进行编译。
最后一步执行spark目录下的bin/spark-shell
在此之前记得打开hadoop的服务,不然在执行spark-shell的时候会报错
spark java.net.UnknownHostException: spark: spark: Name or service not known