Flink神秘工具lib

时间:2021-03-12 04:49:15

Flink里面有一个神坑,叫做FI坑。其实只是使用Fi的时候被暴露出来。但是,杀不死你的,终将使你更加强大。

Flink集群有一个lib文件件,里面比较happy,可以放各种jar;这样,client端在提交的时候就不需要把全jar打成一个肥肥,只需要增量的把包放到client端lib文件夹里面即可。

这个其实是一个非常人性化的设置;但是,加入没有人告诉你Flink集群这种机制,你已提交全量包,发现各种冲突,各种函数找不到,是不是很懵逼?

这个可能是二次封装友好性问题了。但是这里一个知识点:Flink集群以及client有一个lib的地方,可以放置jar包,集群的jar包是避免打包过大的优化处理;client端的lib是用来存放增量的jar包。

另外如果你在不断的提交和修改client的jar包,那么可能会有缓存现象,这样你调整的结果并不会体现出来(只要jar包存在一次就会一直存在);直到你重启一个yarn的session才会重置client端提交的jar包。

基本处理模式:如果已经添加了对应jar包,但是仍然报相同的类找不到,OK,重启yarn-session;报一些乱七八糟的错误,看不懂,没有头绪的异常,重启yarn-session;如果添加完了jar包,发现初始化错误(没有了ClassNotFound/Def),此时很可能是该jar包相关依赖需要添加。

这里要说一下,eclipse里面解析maven的依赖树讲真给力。比如com/carrXXX/hppc/YYY找不到,我尝试搜一下carr结果自动跳出了hpcc的包,已经实现了深度搜索。