最近要接触数据分析，需要快速入门，就想在Ubuntu下配置IDEA和Spark编程环境。
1.下载jdk
#java /etc/profile .zshrc, 或者直接在终端输入
export JAVA_HOME=/usr/lib/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
2.下载scala并且拷贝到/usr/local/scala
开始配置在/etc/profile中输入下面的内容
vim /etc/profile
#scala
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH
#scala compile
alias sa='scala'
$source /etc/proflle使file生效。
$scala -version来查看版本
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL
3.idea 安装scala插件
下载对于版本的scala插件，首先到idea中去搜索对于的版本，然后对于下载。
下载好之后，直接解压放到idea中plugins目录下。
4.spark 使用
下载完之后，解压出来，直接使用。（./spark-shell ./pyspark）
5.IEDA安装
选择社区版，下载完之后，解压出来。进入bin目录，运行idea.sh脚步来启动IDEA.
６.插件安装(vim+scala+sbt)
在file->Settins->Plugins,搜索scala插件进行安装，完成之后，就会用scala类型的项目了。一定要把自己的网速搞上去。
７.在IEDA中配置jdk,scala,spark依赖
８.编写demo程序---scala---Spark
1)scala项目
2)Spark项目
6、打包导出到集群运行。
6.1 如果pom.xml文件中存在hadoop或者spark的依赖，请在打包之前注释掉。因为集群已经有包了，注释掉既能减少包的大小，又能避免某些jar版本冲突。
6.2 Intellij中点击“File - Project Struction - Artifacts - + - Jar - From modules with dependencies…”，填写modules、Main Class以及路径等，点击OK生成jar包。
File->Project Structure->在右侧选择Artifacts->JAR->From modules with dependencies
填写该JAR包名称和调整输出内容
【注意】的是默认情况下"Output Layout"会附带Scala相关的类包，由于运行环境已经有Scala相关类包，所以在这里去除这些包只保留项目的输出内容
6.3 Intellij中点击“Build- Build artifacts… ”，选择刚生成的jar包进行build。
6.4 将打包好的jar包上传到服务器某路径下。
6.5 执行提交命令：
spark-submit WhereIsYourJar 其他参数
bin/spark-submit --master spark://hadoop1:7077 --class class3.Join --executor-memory 1g LearnSpark.jar hdfs://hadoop1:9000/class3/join/reg.tsv hdfs://hadoop1:9000/class3/join/clk.tsv
９debug
编程的时候，避免不了的就是调试IEDA debug.
10.Spark源码阅读环境