ceph集群搭建

时间：2023-03-08 20:08:54

CEPH

1.组成部分

1.1 monitor

admin节点安装ceph-deploy工具

  • admin节点安装ceph-deploy

    • 添加源信息
    rm -f /etc/yum.repos.d/*
    
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
    
sed -i '/aliyuncs.com/d' /etc/yum.repos.d/*.repo
    
echo '#阿里ceph源
    
[ceph]
    
name=ceph
    
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/
    
gpgcheck=0
    
[ceph-noarch]
    
name=cephnoarch
    
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/
    
gpgcheck=0
    
[ceph-source]
    
name=ceph-source
    
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS/
    
gpgcheck=0
    
#'>/etc/yum.repos.d/ceph.repo
    
yum clean all && yum makecache
    
yum install deltarpm
    • 把软件包源加入软件仓库。用文本编辑器创建一个 YUM (Yellowdog Updater, Modified) 库文件，其路径为 /etc/yum.repos.d/ceph.repo 。例如：
    sudo vim /etc/yum.repos.d/ceph.repo
    • 添加ceph源
        name=Ceph noarch packages
    
    # 根据当前系统的发行版来：http://download.ceph.com/
    
    baseurl=http://download.ceph.com//rpm-nautilus/el7/noarch/
    
    enabled=1
    
    gpgcheck=1
    
    type=rpm-md
    
    gpgkey=https://download.ceph.com/keys/release.asc
    • 安装ceph-deploy
     sudo yum update && sudo yum install ceph-deploy

  • 所有节点安装NTP(network time portocal)、openssh

# yum 安装 ntp

sudo yum install ntp ntpdate ntp-doc

# 校对系统时钟

ntpdate 0.cn.pool.ntp.org
  • 安装ssh服务
   sudo yum install openssh-server

后续操作：安装ceph-deploy的节点需要ssh到各个节点远程完成ceph的安装配置工作，

1.2 创建ceph部署用户
  • 添加部署用户
   sudo useradd -d /home/cephd -m cephd
  • 设置密码
   sudo passwd cephd

   # moon2017
  • 赋予root权限
   echo "cephd ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephd

   sudo chmod 0440 /etc/sudoers.d/cephd
cat ~/.ssh/config

Host node1

  Hostname node1

  User cephd

Host node2

  Hostname node2

  User cephd
  • 开放所需端口

    放所需端口设置，Ceph Monitors 之间默认使用 6789 端口通信， OSD 之间默认用 6800:7300 这个范围内的端口通信，所以我们需要调整防火墙设置，开放所需端口，允许相应的入站请求。
    # 防火墙设置

   sudo firewall-cmd --zone=public --add-port=6789/tcp --permanent

   # 当然我们也可以关闭防火墙

   sudo systemctl stop firewalld.service  #停止 firewall

    sudo systemctl disable firewalld.service  #禁止 firewall 开机启动
部署集群

cephd账号下的ceph-cluster目录下运行

ceph-deploy

ImportError: No module named pkg_resources

安装yum install python-setuptools

Delta RPMs disabled because /usr/bin/applydeltarpm not installed.

yum provides '*/applydeltarpm'

yum install deltarpm -y

unable to find a keyring on /etc/ceph/ceph.client.admin.keyring

  • 清理配置
 # 清理 Ceph 安装包

  ceph-deploy purge admin node1 node2

  # 清理配置

  ceph-deploy purgedata admin node1 node2

  ceph-deploy forgetkeys

  rm -rf ./*
  • 通过ceph-deploy创建admin，node信息
  ceph-deploy new admin
  • 修改ceph集群副本数

Vim ceph.conf

osd pool default size = 2  #增加默认副本数为 2

这里需要注意的是hostname，需要和命令参数名称一致。 修改机器hostname方法：

1.修改 /etc/hostname

2.通过hostnamectl 命令查看。如果不一样，需要使用 hostnamectl set-hostname 自定义名称

如果不这样设置的话，在创建monitor这一步的时候，会读取 /var/run/ceph下的文件，文件的命名应该是根据系统的hostname来创建的，如hostname不一致，就会报错。

  • 创建集群，节点
  ceph-deploy install admin node1 node2
  • 创建monitor
  ceph-deploy mon create-initial

  # ceph-deploy --overwrite-conf mon create-initial
  • 安装mgr
ceph-deploy mgr create node1 node2
  • 分发配置文件
  ceph-deploy admin node1 node2

将配置文件改为可读的权限：

 sudo chmod +r /etc/ceph/ceph.client.admin.keyring

  • 增加、删除OSD

    • 查看节点磁盘信息
        ceph-deploy disk list node1

    得到结果

    ceph集群搭建

    • 准备OSD(过期)

    官网上介绍的是依次执行：准备（prepare），激活（active）。最后是创建（create）。但是最新的版本里面 ceph-deploy osd 命令只支持list，create命令，所以就直接执行 create命令。执行create命令会依次执行prepare、active命令

    # 格式
    
ceph-deploy osd prepare {node-name}:{data-disk}[:{journal-disk}]
    
# 自己创建的目录
    
ceph-deploy osd prepare node1: /var/local/osd1
    • 创建osd

    创建osd需要有独立的磁盘。在虚拟机中，只有sda盘，并且是系统盘，需要分区出来得到一块新的磁盘信息。

    1. 查看磁盘信息

      sudo fdisk -l

      ceph集群搭建

      通过命令可以知道，*虚拟机只有sda一个磁盘，因此需要在sda上面进行分区，不能直接在sda上面直接创建osd。

    2. 分区操作

         fdisk /dev/sda

      输入n一直回车，最后一定要输入w保存。

      想要马上生效，需要输入partprobe通知内核重新读取分区表信息

      这样，新的分区就建好了。需要在所有节点上执行上述创建分区操作。

    3. 创建osd

    ```bash
    
ceph-deploy osd  create  --data /dev/sda3 node1
    
```

    结果

    ceph集群搭建

    • 同步配置信息
    ceph-deploy admin admin node1 node2

    将配置文件和admin密钥同步到各个节点，以便在各个node上使用ceph命令，无需指定montior地址和ceph.client.admin.keyring密钥

    确保你对 ceph.client.admin.keyring 有正确的操作权限

    在所有的节点中修改该文件的操作权限。

    sudo chmod +r /etc/ceph/ceph.client.admin.keyring

    使用w命令，保存分区信息并退出

    11.ls /dev/sdb*,可以看到分区已经建立，如果分区信息未被创建，使用partprobe通知内核重新读取分区表信息。

  • 创建成功

ceph集群搭建

开启dashboard
  • 查看active的mgr
ceph -s

ceph集群搭建

由上图可知，当前活跃的mgr是node2节点，需要在node2节点上做操作，否则不成功

  • 开启监控
ceph mgr module enable dashboard
  • 生成并安装一个 自签名证书
ceph dashboard create-self-signed-cert
  • 生成密钥，生成两个文件----dashboard.crt dashboard.key (在当前登陆的账号路径下面：/home/cephd/)
mkdir mgr-dashboard

cd mgr-dashboard

openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca
  • 配置服务地址、端口，默认的端口是8443
ceph config set mgr mgr/dashboard/server_addr 192.168.242.92

[root@node1 mgr-dashboard]# ceph config set mgr mgr/dashboard/server_port 8443

[root@node1 mgr-dashboard]# ceph mgr services

{

    "dashboard": "https://node2:8443/"

}
  • 创建一个用户、密码
ceph dashboard set-login-credentials admin admin123
  • 登陆成功后

ceph集群搭建

  • 查看过滤运行的进程
sudo systemctl list-units|grep mgr

相关文章