使用kafka和sparkstreaming整合时,IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1",初步看是版本不兼容,但是版本后面确认没有问题,参考博文,修改了依赖包的依赖顺序就解决了问题。
依赖包顺序
修改了依赖包顺序,前三个如图所示的顺序是ok的。
①spark安装包中的jar包
②kafka安装包中的jar包
③sparkstreaming和kafka的整合jar包
运行程序
运行程序,发现kafka接收到flume的消息后,sparkstreaming可以正常pull,并将结果打印到控制台。
本次没有使用maven来管理jar包,直接导入安装包中的jar包来运行的,依赖包顺序调整只是这个报错的一种解决解决办法,具体原因暂时不明。
参考博文: