win7+idea+maven搭建spark源码阅读环境

时间:2024-08-06 12:06:32

1.参考。

利用IDEA工具编译Spark源码(1.60~2.20)

https://blog.****.net/He11o_Liu/article/details/78739699

Maven编译打包spark(2.1.0)源码及出现问题的解决方案(win7+Intellij IDEA)

https://blog.****.net/u011464774/article/details/76704785

通过maven将spark源码导入idea
https://blog.****.net/pcno1/article/details/53433740

使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码(博主强烈推荐)
https://www.cnblogs.com/zlslch/p/5881893.html

利用IDEA查看和修改spark源码

https://blog.****.net/fishseeker/article/details/63741265

Spark源码之路(一):Windows下用IDEA搭建源码阅读环境

spark source code下载:(我选择版本的是spark-2.2.0)

https://github.com/apache/spark/tree/v2.2.0

2.在使用sbt/maven用idea导入源码之前,先是在命令行build spark,但是构建失败。

a.Build Spark 的详细步骤参见构建Spark(中文)
http://spark.apachecn.org/docs/cn/2.2.0/building-spark.html#apache-maven

b.将MAVEN_OPTS设定为环境变量,win7下创建一个用户变量:

  变量名是MAVEN_OPTS 值为 -Xmx2g (or more)

c.在spark源码解压后的根目录D:\IdeaProject\spark-2.2.0下执行:
  mvn -DskipTests clean package

报错:
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:
run (default) on project spark-core_2.11: An Ant BuildException has occured: Exe
cute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\Id
eaProject\spark-2.2.0\core"): CreateProcess error=2, 系统找不到指定的文件。
[ERROR] around Ant part ...<exec executable="bash">... @ 4:27 in D:\IdeaProject\

解决:安装Windows Subsystem for Linux ,简单说就是可以在WINDOWS上执行Bash命令。
至少需要win10系统。我的是win7解决不了。

3.决定直接使用idea的open object打开源码压缩包,直接编译。