高可用OpenStack（Queen版）集群-13.分布式存储Ceph

参考文档：

1. Install-guide：https://docs.openstack.org/install-guide/
2. OpenStack High Availability Guide：https://docs.openstack.org/ha-guide/index.html
3. 理解Pacemaker：http://www.cnblogs.com/sammyliu/p/5025362.html
4. Ceph: http://docs.ceph.com/docs/master/start/intro/
5. Ceph原理：https://www.cnblogs.com/kevingrace/p/8387999.html

十七．分布式存储Ceph

1. 设置yum源

# 在全部控制与计算节点设置epel与ceph yum源（base yum源已更新），以controller01节点为例；

# epel：http://mirrors.aliyun.com/repo/
[root@controller01 ~]# wget -O /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo

# ceph：http://mirrors.aliyun.com/ceph/
# 编辑ceph.repo文件，使用luminous版本
[root@controller01 ~]# vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
[ceph-source]
name=ceph-source
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc# 重新加载yum源
[root@controller01 ~]# yum clean all
[root@controller01 ~]# yum makecache

# 查看yum源
[root@controller01 ~]# yum repolist

2. 环境

基础环境，如hosts，时间同步ntp，开放端口iptables等相关操作，请见：https://www.cnblogs.com/netonline/p/9180299.html

3. 创建用户

1）创建用户

[root@controller01 ~]# useradd -d /home/ceph -m cephde
[root@controller01 ~]# passwd cephde
New password: storage_pass
Retype new password: storage_pass

# 修改visudo文件，使cephde用户在sudo列表中；
# 在92行” root    ALL=(ALL)       ALL”下新增一行：” cephde    ALL=(ALL)       ALL”
[root@controller01 ~]# visudo
93  cephde    ALL=(ALL)       ALL

2）用户赋权

# 设置cephde用户具备无密码sudo（root）权限；
# 切换到cephde用户下操作
[root@controller01 ~]# su - cephde
[cephde@controller01 ~]$ echo "cephde ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephde
[sudo] password for cephde:storage_pass
[cephde@controller01 ~]$ sudo chmod 0440 /etc/sudoers.d/cephde

4. 设置ssh免密登陆

1）生成秘钥

# ceph-deploy不支持密码输入，需要在管理控制节点生成ssh秘钥，并将公钥分发到各ceph节点；
# 在用户cephde下生成秘钥，不能使用sudo或root用户；
# 默认在用户目录下生成~/.ssh目录，含生成的秘钥对；
# “Enter passphrase”时，回车，口令为空；
# 另外3个控制节点均设置为ceph管理节点，应该使3个控制管理节点都可以ssh免密登陆到其他所有控制与存储节点
[root@controller01 ~]# su - cephde
[cephde@controller01 ~]$ ssh-keygen -t rsa
Enter file in which to save the key (/home/ceph/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:

2）分发密钥

# 前提是各控制与存储节点已生成相关用户；
# 初次连接其他节点时需要确认；
# 首次分发公钥需要密码；
# 分发成功后，在~/.ssh/下生成known_hosts文件，记录相关登陆信息；
# 以controller01节点免密登陆controller02节点为例；另外3个控制节点均设置为ceph管理节点，应该使3各控制管理节点都可以ssh免密登陆到其他所有控制与存储节点
[cephde@controller01 ~]$ ssh-copy-id cephde@controller02
Are you sure you want to continue connecting (yes/no)? yes
cephde@controller02's password:

3）设置环境变量（optional）

# 在root账号~目录下，生成~/.ssh/config文件，这样在控制管理节点上执行”ceph-deploy”时可不切换用户或指定”--username {username}”；
[root@controller01 ~]# cat ~/.ssh/config
# ceph-deploy
Host controller02
   Hostname controller02
   User cephde

Host controller03
   Hostname controller03
   User cephde

Host compute01
   Hostname compute01
   User cephde

Host compute02
   Hostname compute02
   User cephde

Host compute03
   Hostname compute03
   User cephde

5. 安装ceph-deploy

# 在规划的全部控制管理节点安装ceph-deploy工具，以controller01节点为例
[root@controller01 ~]# yum install ceph-deploy -y

6. 创建ceph集群

1）创建集群

# 在cephde账户下操作，切忌使用sudo操作；
# 在管理节点上生成一个目录用于存放集群相关配置文件；
[root@controller01 ~]# su - cephde
[cephde@controller01 ~]$ mkdir cephcluster

# 后续ceph-deploy相关操作全部在所创建的目录执行；
# 将规划中的MON（monitor）节点纳入集群，即创建集群
[cephde@controller01 ~]$ cd ~/cephcluster/
[cephde@controller01 cephcluster]$ ceph-deploy new controller01 controller02 controller03

2）修改集群配置文件（optional）

# 生成集群后在集群目录下生成3个文件，其中ceph.conf即是配置文件；
# 默认可不修改，为使服务按规划启动，可做适当修改；
# 以下红色字体部分是在默认生成的conf文件上新增的配置
[cephde@controller01 cephcluster]$ cat ceph.conf
[global]
fsid = 9b606fef-1cde-4d4c-b269-90079d1d45dd
mon_initial_members = controller01, controller02, controller03
mon_host = 172.30.200.31,172.30.200.32,172.30.200.33
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

# public network：前端mon网络，client访问网络；确保public network与mon_host在相同网段，否则初始化时可能会有错误；
# cluster network：后端osd心跳，数据/流复制恢复等网络
public network = 172.30.200.0/24
cluster network = 10.0.0.0/24

# 默认的副本数为3，实验环境变更为2
osd pool default size = 2

# 默认保护机制不允许删除pool，根据情况设置
mon_allow_pool_delete = true

7. 安装ceph

# 在全部控制管理与存储节点安装ceph；
# 理论上在控制节点的ceph集群目录使用ceph-deploy可统一安装，命令：ceph-deploy install controller01 controller02 controller03 compute01 compute02 compute03；
# 但由于网速原因大概率会失败，可在各存储节点独立安装ceph与ceph-radosgw，以controller01节点为例
[root@controller01 ~]# yum install -y ceph ceph-radosgw

# 查看版本
[root@controller01 ~]# ceph -v

8. 初始化ceph_mon

# 在控制管理节点初始化monitor
[cephde@controller01 cephcluster]$ ceph-deploy mon create-initial

# 初始化完成后，在集群目录下新增多个秘钥文件
[cephde@controller01 cephcluster]$ ls -l

# 查看状态
[cephde@controller01 cephcluster]$ sudo systemctl status ceph-mon@controller01

9. 分发ceph.conf与秘钥

# 分发ceph配置文件与秘钥到其他控制管理节点与存储节点；
# 注意分发节点本身也需要包含在内，默认没有秘钥文件，需要分发；
# 如果被分发节点已经配置文件（统一变更配置文件场景），可以使用如下命令：ceph-deploy --overwrite-conf admin xxx
# 分发的配置文件与秘钥在各节点/etc/ceph/目录
[cephde@controller01 cephcluster]$ ceph-deploy admin controller01 controller02 controller03 compute01 compute02 compute03

10. 安装ceph_mgr

1）安装mgr

# luminous版本必须安装mgr（dashboard）
[cephde@controller01 cephcluster]$ ceph-deploy mgr create controller01:controller01_mgr controller02:controller02_mgr controller03:controller03_mgr

# 查看状态；
[cephde@controller01 cephcluster]$ systemctl status ceph-mgr@controller01_mgr

[cephde@controller01 cephcluster]$ sudo netstat -tunlp | grep mgr

2）启动mgr

# 可查看mgr默认开启的服务：(sudo) ceph mgr module ls；
# 默认dashboard服务在可开启列表中，但并未启动，需要手工开启
[cephde@controller01 cephcluster]$ sudo ceph mgr module enable dashboard

# dashboard服务已开启，默认监听全部地址的tcp7000端口；
# 如果需要设置dashboard的监听地址与端口，如下：
# 设置监听地址：(sudo) ceph config-key put mgr/dashboard/server_addr x.x.x.x
# 设置监听端口：(sudo) ceph config-key put mgr/dashboard/server_port x
[cephde@controller01 cephcluster]$ sudo netstat -tunlp | grep mgr

web登陆：http://172.30.200.31:7000/

11. 查看集群状态

# 查看monitor状态
[cephde@controller01 cephcluster]$ sudo ceph mon stat

# 查看ceph状态：ceph health (detail)，ceph -s，ceph -w等；
# 状态显示mgr处于active-standby模式
[cephde@controller01 cephcluster]$ sudo ceph -s

# 可在各节点查看认证信息等
[cephde@controller01 cephcluster]$ sudo ceph auth list

# 检查状态：ceph quorum_status --format json-pretty
# 查看集群详细配置：ceph daemon mon.{CEPH-NODE} config show | more
# 查看mon详细状态：ceph daemon mon.{CEPH-NODE} mon_status
# 查看ceph log所在目录：ceph-conf --name mon.{CEPH-NODE} --show-config-value log_fil
# 查看mon节点的admin socket：ceph-conf --name mon.ceph01 --show-config-value admin_socket

12. 创建osd(存储)

1）创建osd

# osd位于存储节点，可查看存储节点磁盘状况，以compute01节点为例；
# 或在管理节点采用命令：ceph-deploy disk list NODE1 NODE2 … NODEN；
# 如果节点磁盘有数据，可通过命令初始化（谨慎）：ceph-deploy disk zap {NODE} {DISK}，这里{DISK}可以是物理盘符，也可是分区
[root@compute01 ~]# lsblk

# 实际创建osd时，可通过管理节点使用ceph-deploy创建；
# 参数"--data"指定数据盘，参数"--journal"指定journal日志盘，日志盘可以是logical volume(vg/lv)或GPT patition,是option操作；
# 本例中有3个osd节点，每个osd节点可运行4个osd进程（在6800~7300端口范围内，每进程监听1个本地端口）；
# 另有命令：ceph-deploy osd prepare {NODE}:{DISK}[:{/PATH/TO/JOURNAL}]; ceph-deploy osd activate {NODE}:{DISK}[:{/PATH/TO/JOURNAL}]，其中[:{/PATH/TO/JOURNAL}]是option操作，可创建具有journal日志的osd守护进程（节点）
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute01 --data /dev/sdb
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute01 --data /dev/sdc
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute01 --data /dev/sdd
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute01 --data /dev/sde
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute02 --data /dev/sdb
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute02 --data /dev/sdc
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute02 --data /dev/sdd
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute02 --data /dev/sde
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute03 --data /dev/sdb
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute03 --data /dev/sdc
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute03 --data /dev/sdd
[cephde@controller01 cephcluster]$ ceph-deploy osd create compute03 --data /dev/sde

2）查看osd状态

# 在管理节点查看
[cephde@controller01 cephcluster]$ ceph-deploy osd list compute01

# 在管理节点查看osd状态等
[cephde@controller01 cephcluster]$ sudo ceph osd stat
[cephde@controller01 cephcluster]$ sudo ceph osd tree

# 在管理节点查看容量及使用情况
[cephde@controller01 cephcluster]$ sudo ceph df

# 在osd节点查看
[root@compute01 ~]# lsblk

# ceph-osd进程，根据启动顺序，每个osd进程有特定的序号
[root@compute01 ~]# systemctl status ceph-osd@0

# osd进程端口号；
# 或：ps aux | grep osd | grep -v grep
[root@compute01 ~]# netstat -tunlp | grep osd

或登陆mgr_dashboard：http://172.30.200.31:7000