hdfs客户端上传文件追加出现的问题:

时间:2022-06-29 19:33:26

问题一

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):failed to create file

解决方案:

配置文件中:hdfs-site.xml
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>

也有可能是你创建文件的流没有关闭写成fs.create(path).close(),然后在fs.append(path)

问题二

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.RecoveryInProgressException): Recovery in progress,

如果复制因子在我们的代码中设置为1,则附加操作通常会更好。只需检查您正在使用的复制因子。出现此错误是因为有可能块的副本可能具有不同的生成标记值。

解决方法:将dfs.replication设置为1