Spark记录-spark报错Unable to load native-hadoop library for your platform

时间:2024-12-18 15:33:50

解决方案一:

#cp $HADOOP_HOME/lib/native/libhadoop.so  $JAVA_HOME/jre/lib/amd64

#源码编译snappy---./configure  make & make install

#cp libsnappy.so $JAVA_HOME/jre/lib/amd64

主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件。具体是,spark-shell依赖的是scala,scala依赖的是JAVA_HOME下的jdk
当这两个文件准备好后再次启动spark shell不会出现这个问题。

解决方案二:

在spark的conf/spark-env.sh文件加入:export  LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

在/etc/profile设置一下:export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native