Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题

时间:2024-04-06 15:24:08

昨天配置完Hadoop环境搭建了集群后,今天跟着视频操作集群,启动集群没啥问题,然操作集群的时候出了问题(上传文件失败)

 

Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题 

由于本人是刚学,是个新手,这篇文章有问题之处请大家指出

 

自己在解决这个问题的时候左弄弄右弄弄被自己解决了,详细步骤也无法给出。

总结如下:

1、看自己是否关闭防火墙了,防火墙没关可能导致这个原因(我是跟着老师的视频来学的,老师的视频之前关闭过防火墙,我由于昨天关过电脑,再开Linux的时候防火墙是默认开启的)

2、在core-site.xml中没有配置hadoop运行时产生的文件的存储目录(老师的视频中只配置了NameNode,没有配置hadoop的存储目录 )

Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题

 我的防火墙没有关闭,我关了后还是不行,后面看别人说是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致

 

这是别人的解决步骤:

Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题

 我当时看到这里的时候一直找data目录,没找到,,然后看老师的笔记才发现

Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题

 我少配置了这个

我重新配置完后,重启集群:

 1、stop-dfs.sh
 2、start-dfs.sh

 

 

就可以了

Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题

Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题