Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jacks

时间:2020-12-26 18:15:24

使用kafka和sparkstreaming整合时,IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1",初步看是版本不兼容,但是版本后面确认没有问题,参考博文,修改了依赖包的依赖顺序就解决了问题。

依赖包顺序

修改了依赖包顺序,前三个如图所示的顺序是ok的。

①spark安装包中的jar包

②kafka安装包中的jar包

③sparkstreaming和kafka的整合jar包

Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jacks

运行程序

运行程序,发现kafka接收到flume的消息后,sparkstreaming可以正常pull,并将结果打印到控制台。

Spark和Kafka在IDEA整合运行时提示''com.fasterxml.jacks

本次没有使用maven来管理jar包,直接导入安装包中的jar包来运行的,依赖包顺序调整只是这个报错的一种解决解决办法,具体原因暂时不明。

 

参考博文:

(1)https://segmentfault.com/a/1190000016412887