1.从https://www.scala-sbt.org/download.html官网上寻找所需要的安装包
可以直接本地下载完扔进去也可以wget路径，在这里我用的是sbt1.2.8版本的，下载到/usr/local目录下
2.将下载的sbt文件中的sbt-launch.jar拷贝到/usr/local/下的sbt目录中的一级目录下
3.在/usr/local/sbt中创建一个sbt脚本（vim ./sbt），添加以下内容：
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"
4.修改脚本权限
chmod u+x ./sbt
5.修改依赖源（此处修改为阿里源）
vim ~/.sbt/repositories
修改内容如下：
[repositories]
local
aliyun-nexus: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots
6.定位阿里源
进入这两个文件，
vim sbtconfig.txt
和
vim sbtopts
将此行代码加入两个文件的最后一行
-Dsbt.override.build.repos=true
7.检验 sbt 是否可用，耐心等待，一般需要下载好几分钟的，但是如果等待的时间特别长，那建议换源，前面的阿里源就是我针对这个问题而换的，如果你是按照我前面的操作来做的话，那很快就能成功。
./sbt sbtVersion
最后出现版本信息就可以了
8.接下来进行spark第一个应用程序的打包执行
1）首先进入用户的主文件夹
cd ~
创建应用程序根目录
mkdir sparkapp
创建所需的文件夹结构
mkdir -p ./sparkapp/src/main/scala
2）在./sparkapp/src/main/scala下建立一个SimpleApp.scala的文件
vim ./sparkapp/src/main/scala/SimpleApp.scala
内容如下：
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf object SimpleApp {
def main(args: Array[String]) {
val logFile = "file:///usr/local/spark-2.4.3/README.md"
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。不同于 Spark shell，独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext，SparkContext 的参数 SparkConf 包含了应用程序的信息。
该程序依赖 Spark API，因此我们需要通过 sbt 进行编译打包。 ./sparkapp 中新建文件 simple.sbt（vim ./sparkapp/simple.sbt），添加内容如下，声明该独立应用程序的信息以及与 Spark 的依赖关系：
name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.3"
文件 simpale.sbt 需要指明 Spark 和 Scla 的版本。在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的显示信息中找到。下面就是笔者在启动过程当中，看到的相关版本信息（备注：屏幕显示信息会很长，需要往回滚动屏幕仔细寻找信息）。
3）使用 sbt 打包 Scala 程序
cd ~/sparkapp
find .
接着，我们就可以通过如下代码将整个应用程序打包成 JAR（首次运行同样需要下载依赖包 ）：
/usr/local/sbt/sbt package
生成的jar包的位置为：
~/sparkapp/target/scala-2.11/simple-project_2.-1.0.jar
4）通过spark-submit运行程序，将生成的jar包通过是spark-submit提交到spark中运行
/usr/local/spark-2.4./bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.-1.0.jar
上面的命令输出的东西会特别多，所以也可以通过管道化来筛选跟输出指定的信息
/usr/local/spark-2.4./bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.-1.0.jar >& | grep "Lines with a:"
