intellij开发Spark配置说明

时间:2022-07-18 05:11:44
【文件属性】:

文件名称:intellij开发Spark配置说明

文件大小:126.17MB

文件格式:DOCX

更新时间:2022-07-18 05:11:44

Intellij Scala2.12 spark-2.4.2-bin 配置Spark开发

纯新手配置Intellij,可完全上手。并总结可能遇到的问题提示及解决方法,部分内容概述如下: 问题如何解决:NoSuchMethodError: scala.collection.JavaConverters,版本不匹配错误;java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStream,无Hadoop包错误 Project创建及配置: 1. 可通过Import spark-2.4.2-bin-hadoop2.7中的example源码入手开发 2. Project Structure:分别设置Library(spark包)、SDKs(JDK1.8)、Global Libraries(Scala)


网友评论