CDH6.3.2更换HDFS 数据目录

时间:2024-04-11 12:36:10

CDH6.3.2更换HDFS 数据目录

事情是这样的,楼主刚入职一家新公司,刚开始搭建的集群时ecs只有一个系统盘,集群安装完成运行几天后,分分钟就要爆了,于是申请增加磁盘,就有了下面这些尝试

查看未挂载的磁盘
lsblk -f
fdisk /dev/vdb

fdisk -l

#3.格式化

mkfs.ext4 /dev/vdb

#4.挂载
mkdir /data
mount /dev/vdb /data/

#5.永久挂载
vim /etc/fstab
###############
/dev/vdb /data ext4 defaults 0 0
###############

#6.重启验证
reboot

经过上面步骤磁盘是挂载好了,怎么把cdh集群中原有的数据迁移到新的数据盘上呢?
CDH6.3.2更换HDFS 数据目录
数据文件位置默认在 /dfs/ 中,这里配置 NameNode、SecondaryNameNode、DataNode 数据目录。

2:在hdfs实例节点新磁盘创建数据目录

在把所有 HDFS 的主机上把数据拷贝过去,然后再修改 CDH 上的配置。

复制代码
mkdir /cdh/dfs
此处一定要注意更换用户组设置
chown -R hdfs:hdfs /cdh/dfs
cp -af /dfs/* /cdh/dfs/

再启动 HDFS 角色。

执行 fsck 检查是否复制正确

hdfs fsck /

启动成功后如图,更换成功,容量显示正常
CDH6.3.2更换HDFS 数据目录
CDH6.3.2更换HDFS 数据目录