关于在eclipse下的mapreduce工程打包成jar包的问题(包含第三方jar包)

时间:2021-09-25 18:34:43

这个问题也是在开发项目中经常遇到的一个问题,网上提供了很多方法,但是我发现很多并不适用,这里推荐两种方法,一种肯定没问题,就是比较麻烦,另一种是适用FatJar来打包,但是我没成功,原因估计出在ubuntu下的eclipse导入插件可能和windows下面的不一样

方式一:

将所有的第三方jar包放到主节点和从节点的目录hadoop-share-hadoop-cmmon-lib下,重启hadoop集群,这样第三方jar包就和hadoop里面的jar包一样启动了,这是我通过启动日志发现的,启动日志可以通过web:master:8088网站来查看。

方式二:通过第三发插件FatJar来打包,但是这种方式我在ubuntu下面打包并没有成功,没有所谓的Export-Other-FatJar选项,有时间的话再弄一下这个方式