将前面删除的osd磁盘,重新初始化并重新加入到ceph集群当中。
清空已删除磁盘中的内容
输入命令:
wipefs -af /dev/sdd
zap该磁盘
ceph-volume lvm zap /dev/sdd
[ceph: root@ceph-mon1 /]# ceph-volume lvm zap --help
usage: ceph-volume lvm zap [-h] [--destroy] [--osd-id OSD_ID]
[--osd-fsid OSD_FSID] [--no-systemd]
[DEVICES [DEVICES ...]]
测试发现在cephadm安装下的ceph集群并不生效,提示如下:
查看所有设备
[ceph: root@ceph-mon1 /]# ceph orch device ls
[ceph: root@ceph-mon1 /]# ceph osd tree
ceph-mon2和ceph-osd4分别少了一块硬盘在线(前面实验delete掉了)
定位是哪块盘不在线
[ceph: root@ceph-mon1 /]# ceph osd metadata 2 | grep devices
[ceph: root@ceph-mon1 /]# ceph osd metadata 9 | grep devices
相比较可以得知是sdc不在线,就是前面实验下线的osd.3
zap该磁盘,使其可重新被使用。
[ceph: root@ceph-mon1 /]# ceph orch device --help |grep zap
orch device zap <hostname> <path> [--force] Zap (erase!) a device so it can be re-used
[ceph: root@ceph-mon1 /]# ceph orch device zap ceph-mon2 /dev/sdc --force
重新查看可用状态
重新加入集群,收工。
[ceph: root@ceph-mon1 /]# ceph orch daemon add osd ceph-mon2:/dev/sdc
Created osd(s) 3 on host \'ceph-mon2\'
补充:
如果磁盘有旧信息,没有zap将无法重新被加入集群
[ceph: root@ceph-mon2 /]# ceph orch daemon add osd ceph-mon2:/dev/sdc
Created no osd(s) on host ceph-mon2; already created?
zap另一块磁盘出错
ceph orch device zap ceph-osd4 /dev/sdd --force 出错
[root@ceph-osd4 ceph]# wipefs -af /dev/sdd
完成wipefs操作后,重启该OSD所在节点的机器
重新zap,这次正常了
查看设备,已显示可用。
[ceph: root@ceph-mon1 /]# ceph orch device ls
重新加入后,前面实验删除的osd.8已重新加入集群。
[ceph: root@ceph-mon1 /]# ceph orch daemon add osd ceph-osd4:/dev/sdd
至此,12块盘全部可用。