问题的出现:使用idea进行Spark开发的时候报错
个人遇到的报错
- scala.util.matching.Regex.(Ljava/lang/String;Lscala/collection/Seq;)V
- java.lang.VerifyError: class scala.collection.mutable.WrappedArray overrides final method toBuffer.
个人出现这个问题是由于Spark和Scala版本不一致导致的。Spark版本后面的数字是Scala的版本号,感觉Scala这块向后兼容做的不太好。
很多的人的解决方法是直接在idea的project structure中Global Libraries中直接更换Scala version 以为解决掉了。然而并没有。实际上,可以看到Scala version的版本虽然变了。但是Compiler classpath中的jar包并没有变。
- 在+号这里选择Scala Sdk
- 选择download的版本
然后删掉你以前的版本。留下和Spark匹配的版本,完美解决~~