Ceph分布式存储（2）

一.资源池 Pool 管理.

查看集群 Pool 信息:

创建一个 Pool 资源池：

ceph osd pool create mypool 64 64

查看资源池副本的数量:

查看 PG 和 PGP 数量:

修改 pg_num 和 pgp_num 的数量为 128:

修改 Pool 副本数量为 2:

修改默认副本数为 2:

再次创建池看下数量：

查看所有池名：

删除 Pool 资源池：

二.创建 CephFS 文件系统 MDS 接口

创建存储池，启用 ceph 文件系统：

创建用户:

客户端操作:

在客户端安装 ceph 软件包:

客户端挂载：

基于内核语法格式：

基于 fuse 工具：

三.创建 Ceph 块存储系统 RBD 接口

创建一个名为 rbd-demo 的专门用于 RBD 的存储池：

将存储池转换为 RBD 模式：

初始化存储池：

创建镜像：

修改镜像大小：

删除镜像：

还原镜像：

Linux客户端使用:

管理节点创建并授权一个用户可访问指定的 RBD 存储池:

执行客户端映射：

查看映射：

断开映射：

格式化并挂载：

在线扩容：

在管理节点调整镜像的大小：

在客户端刷新设备文件：

快照管理：

在管理节点对镜像创建快照：

列出指定镜像所有快照：

回滚镜像到指定:

在管理节点操作:

删除快照：

删除指定快照：

删除所有快照：

四.创建 Ceph 对象存储系统 RGW 接口

创建 RGW 接口：

生成CA证书私钥：

生成CA证书公钥：：

一.资源池 Pool 管理.

查看集群 Pool 信息:

ceph osd pool ls ， rados lspools

创建一个 Pool 资源池：

ceph osd pool create mypool 64 64

查看资源池副本的数量:

ceph osd pool get mypool size

查看 PG 和 PGP 数量:

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

修改 pg_num 和 pgp_num 的数量为 128:

ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128

修改 Pool 副本数量为 2:

ceph osd pool set mypool size 2

ceph osd pool get mypool size

修改默认副本数为 2:

修改配置文件：

osd_pool_default_size = 2

ceph-deploy --overwrite-conf config push node01 node02 node03

查看下其他节点的配置文件是否也有此配置项：

所有节点重启下ceph-mon服务：

再次创建池看下数量：

查看所有池名：

ceph osd lspools

删除 Pool 资源池：

删除存储池命令存在数据丢失的风险，Ceph 默认禁止此类操作，需要管理员先在 ceph.conf 配置文件中开启支持删除存储池的操作：

ceph osd pool rm 池名池名 --yes-i-really-really-mean-it

.修改配置文件：

推送 ceph.conf 配置文件给所有 mon 节点：

ceph-deploy --overwrite-conf config push node01 node02 node03

看下从节点：

所有节点重启ceph-mon服务：

再次删除：

其他从节点上查看下池：

二.创建 CephFS 文件系统 MDS 接口

ceph-deploy mds create node01 node02 node03

创建存储池，启用 ceph 文件系统：

ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。此时数据池就类似于文件系统的共享目录

创建数据Pool:

ceph osd pool create cephfs_data 128

创建元数据Pool:

ceph osd pool create cephfs_metadata 128

启用ceph，元数据Pool在前，数据Pool在后:

创建 cephfs，命令格式：ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>

ceph fs new mycephfs cephfs_metadata cephfs_data

查看cephfs:

查看mds状态，一个up，其余两个待命，目前的工作的是node01上的mds服务:

创建用户:

语法格式：ceph fs authorize <fs_name> client.<client_id> <path-in-cephfs> rw

账户为 client.cxk，用户 name 为 cxk，cxk 对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限:

ceph fs authorize mycephfs client.cxk / rw | tee /etc/ceph/cxk.keyring

账户为 client.lisi，用户 name 为 lisi，lisi 对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test 有读写权限:

ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring

查看下文件：

客户端操作:

客户端要在 public 网络内,在ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件:

在客户端安装 ceph 软件包:

如果没有ceph的repo文件可以下载：

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm

在客户端制作秘钥文件：

把 cxk用户的秘钥导出到 cxk.key，把 lisi用户的秘钥导出到 lisi.key：

ceph-authtool -n client.cxk -p cxk.keyring > cxk.key

ceph-authtool -n client.lisi -p lisi.keyring > lisi.key

查看下密钥文件：

客户端挂载：

先创建目录:

基于内核语法格式：

mount -t ceph node01:6789,node02:6789,node03:6789:/ <本地挂载点目录> -o name=<用户名>,secret=<秘钥>

mount -t ceph node01:6789,node02:6789,node03:6789:/ <本地挂载点目录> -o name=<用户名>,secretfile=<秘钥文件>

挂载：

mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/cxk -o name=cxk,secretfile=/etc/ceph/cxk.key

基于 fuse 工具：

在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和管理员账号的秘钥环文件：

在客户端安装 ceph-fuse：

客户端挂载：

ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa [-o nonempty]

挂载时，如果挂载点不为空会挂载失败，指定 -o nonempty 可以忽略

ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa

三.创建 Ceph 块存储系统 RBD 接口

创建一个名为 rbd-demo 的专门用于 RBD 的存储池：

ceph osd pool create rbd-demo 64

将存储池转换为 RBD 模式：

ceph osd pool application enable rbd-demo rbd

初始化存储池：

rbd pool init -p rbd-demo

-p 等同于 --pool

创建镜像：

rbd create -p rbd-demo --image rbd-demo1.img --size 10G
可简写为：
rbd create rbd-demo/rbd-demo2.img --size 10G

查看存储池下存在哪些镜像：

rbd ls -l -p rbd-demo

查看镜像的详细信息：

rbd info -p rbd-demo --image rbd-demo1.img

rbd image 'rbd-demo.img':
   size 10 GiB in 2560 objects           #镜像的大小与被分割成的条带数
   order 22 (4 MiB objects)                 #条带的编号，有效范围是12到25，对应4K到32M，而22代表2的22次方，这样刚好是4M
   snapshot_count: 0
   id: 5fc98fe1f304 #镜像的ID标识
   block_name_prefix: rbd_data.5fc98fe1f304          #名称前缀
   format: 2                                       #使用的镜像格式，默认为2
   features: layering, exclusive-lock, object-map, fast-diff, deep-flatten        #当前镜像的功能特性
   op_features:                                   #可选的功能特性
   flags: