在Mac下配置Spark源码阅读环境

时间:2021-06-12 23:10:18
一、本机环境     Macbook pro Retina
    Scala 11.4
    Jdk 1.6.05(目前,在Mac下安装IDEA社区版本只支持jdk1.6版本)
    Git 2.2.0(点击这里直接安装既可)
    准备就绪
二、Spark源码编译     我下载的是1.1.1版本的源码,大概139M。在终端中使用如下脚本即可下载到本地:
        git clone git://github.com/apache/spark.git     打开idea,选择IntelliJ IDEA->Preferences->Plugins->输入scala并选择右侧的install plugin,由于我这里已经安装了插件所以显示的是unistall plugins。 在Mac下配置Spark源码阅读环境
    重启IDEA选择Import Project将通过git下载的Spark文件夹导入=>Import project from external model=>SBT=>Use auto-import=>Finish,大功告成。尽情享受源码带来的乐趣吧Sparker们!
    在等待IDEA加载依赖关系的过程中若出现“...waiting for  .sbt.ivy.lock...”且进度条卡住长时间不动的情况,可以强行退出IDEA,并在spark所在文件夹下进入.ivy2文件夹:         cd .ivy2     删除以lock结尾的文件(注意是隐藏文件)即可。 在Mac下配置Spark源码阅读环境
    下面是我的源码阅读环境:
在Mac下配置Spark源码阅读环境

(by 希慕,转载请注明出处)