问题一
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):failed to create file
解决方案:
配置文件中:hdfs-site.xml
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
也有可能是你创建文件的流没有关闭写成fs.create(path).close(),然后在fs.append(path)
问题二
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.RecoveryInProgressException): Recovery in progress,
如果复制因子在我们的代码中设置为1,则附加操作通常会更好。只需检查您正在使用的复制因子。出现此错误是因为有可能块的副本可能具有不同的生成标记值。
解决方法:将dfs.replication设置为1