文件名称:intellij开发Spark配置说明
文件大小:126.17MB
文件格式:DOCX
更新时间:2022-07-18 05:11:44
Intellij Scala2.12 spark-2.4.2-bin 配置Spark开发
纯新手配置Intellij,可完全上手。并总结可能遇到的问题提示及解决方法,部分内容概述如下: 问题如何解决:NoSuchMethodError: scala.collection.JavaConverters,版本不匹配错误;java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStream,无Hadoop包错误 Project创建及配置: 1. 可通过Import spark-2.4.2-bin-hadoop2.7中的example源码入手开发 2. Project Structure:分别设置Library(spark包)、SDKs(JDK1.8)、Global Libraries(Scala)