CEPH RGW多 ZONE的配置

时间:2023-01-27 16:46:59

相关的名称解释

Region :可以理解为区域,是基于地理位置的逻辑划分;如:华南,华北之类,包含多个regionCeph集群必须指定一个master region,一个region可以包含一个或者多个zone 
Zone : 可以理解为可用区,它包含一组Ceph rgw实例,一个region必须指定一个master zone用以处理客户端请求。

部署拓扑

本文描述的多可用区部署拓扑如下:

                   Ceph
|
SH
/ \
SH-1 SH-2
| |
SH-SH-1 SH-SH-2
Ceph集群配置名为SHRegion,在Region下配置名为SH-1SH-2两个Zone,并将SH-1设置为master, SH-2备用,可以通过radosgw-agent 实现数据复制;每个Zone各运行一个rgw实例,分别为SH-SH-1SH-SH-2

rgw组成要素

rgw作为一个客户端,包含如下基本元素:

  • rgw实例名, 本文中两个实例分别是SH-SH-1,SH-SH-2
  • rgw实例用户
  • 存储池
  • ceph.conf中配置入口
  • rgw实例运行时数据目录
  • 前端配置文件

配置rgw

创建pools

Ceph rgw需要使用多个pool来存储相关的配置及用户数据。如果后续创建的rgw用户具有相关权限,在rgw实例启动的时候是会自动创建某些存储池的;但是,通常都会建议用户自行创建。为便于区别不同Zone,在各存储池名前冠以.{region-name}-{zone-name}前缀,SH-1SH-2的各存储池如下

.SH-SH-1.rgw.root

.SH-SH-1.rgw.control

.SH-SH-1.rgw.gc

.SH-SH-1.rgw.buckets

.SH-SH-1.rgw.buckets.index

.SH-SH-1.rgw.buckets.extra

.SH-SH-1.log

.SH-SH-1.intent-log

.SH-SH-1.usage

.SH-SH-1.users

.SH-SH-1.users.email

.SH-SH-1.users.swift

.SH-SH-1.users.uid

.SH-SH-2.rgw.root

.SH-SH-2.rgw.control

.SH-SH-2.rgw.gc

.SH-SH-2.rgw.buckets

.SH-SH-2.rgw.buckets.index

.SH-SH-2.rgw.buckets.extra

.SH-SH-2.log

.SH-SH-2.intent-log

.SH-SH-2.usage

.SH-SH-2.users

.SH-SH-2.users.email

.SH-SH-2.users.swift

.SH-SH-2.users.uid

创建存储池的命令如下: ceph osd pool create {pool_name} 128 128

注意:不要忘记存储池名前的’.’,否则在启动rgw实例的时候会失败

创建rgw用户及秘钥

  • 创建秘钥文件

    /etc/ceph/目录下创建秘钥文件并设置执行权限

#ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring

#chmod +r /etc/ceph/ceph.client.radosgw.keyring
  • 创建rgw用户及秘钥

为每个实例生成用户及秘钥,并存储到前述创建的秘钥文件中

#ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.radosgw.SH-SH-1 --gen-key

#ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.radosgw.SH-SH-2 --gen-key

  • 授权

为前述创建的用户授予合适的权限

#ceph-authtool -n client.radosgw.SH-SH-1 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring

#ceph-authtool -n client.radosgw.SH-SH-2 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
  • 注册

将用户添加到Ceph集群

#ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.radosgw.SH-SH-1 -i /etc/ceph/ceph.client.radosgw.keyring

#ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.radosgw.SH-SH-2 -i /etc/ceph/ceph.client.radosgw.keyring

添加rgw实例信息到配置文件

  • 添加下述信息到ceph.conf配置文件
[global]
rgw region root pool = .SH.rgw.root //用于存储region信息,会自动创建 [client.radosgw.SH-SH-1] //实例名,格式为:{tpye}.{id}
rgw region = SH //region名
rgw zone = SH-1 //zone名
rgw zone root pool = .SH-SH-1.rgw.root //根存储池,存储zone信息
keyring = /etc/ceph/ceph.client.radosgw.keyring //秘钥文件
rgw dns name = {hostname} //DNS
;rgw socket path = /var/run/ceph/$name.sock //unix路径
rgw frontends = fastcgi socket_port=9000 socket_host=0.0.0.0
host = {host-name} //主机名,通过`hostname -s`获得 [client.radosgw.SH-SH-2]
rgw region = SH
rgw zone = SH-2
rgw zone root pool = .SH-SH-2.rgw.root
keyring = /etc/ceph/ceph.client.radosgw.keyring
rgw dns name = {hostname}
rgw frontends = fastcgi socket_port=9000 socket_host=0.0.0.0
host = {host-name}
各配置的含义请看上文的注解,这里要说明的一点是:rgw socket pathrgw frontends中的socket_port配置是互斥的并且rgw socket path配置优先,即:如果配置了rgw socket pathrgw实例将启动unix socket监听并忽略socket_port配置,只有在没有配置rgw socket path的情况下,rgw实例才会使用socket_portsocket_host建立socket监听
  • 更新ceph节点的配置信息

通过ceph-deploy推送配置文件到rgw实例节点

#ceph-deploy --overwrite-conf config push {inst-1} {inst-2}

创建Region

  • 创建region配置文件

创建一个包含region信息,名为sh.json的配置文件:

{ "name": "SH",           //region名
"api_name": "SH",
"is_master": "true", //设置为master
"endpoints": "", //region之间的复制地址
"master_zone": "SH-1", //master zone
"zones": [
{ "name": "SH-1",
"endpoints": [
"http:\/\/{fqdn}:80\/"], //zone之间的复制地址
"log_meta": "true",
"log_data": "true"},
{ "name": "SH-2",
"endpoints": [
"http:\/\/{fqdn}:80\/"],
"log_meta": "true",
"log_data": "true"}],
"placement_targets": [ //可用的位置组,
{
"name": "default-placement",
"tags": []
}
],
"default_placement": "default-placement"}

endpoints是用于region之间,zone之间的数据复制地址,需设置为rgw实例前端(上例中{fqdn}需设置为主机名)的地址;如果是单region或者单zone配置,该地址可不设置

placement_targets指定可用的位置组,上文中只配置了一个;zone中的placement_pools配置值来源于此,placement_pools用来存储zone的用户数据,如:bucket,bucket_index

  • 创建Region

通过前述的sh.json配置文件创建region(通过一个实例执行即可)

#radosgw-admin region set --infile us.json --name client.radosgw.SH-SH-1
  • 1
  • 设置默认Region
#radosgw-admin region default --rgw-region=SH --name client.radosgw.SH-SH-1
  • 1
  • 更新regionmap
#radosgw-admin regionmap update --name client.radosgw.SH-SH-1
#radosgw-admin regionmap update --name client.radosgw.SH-SH-2
  • 1
  • 2

创建Zone

  • 创建两个分别包含zoneSH-1SH-2信息,名为sh-1.jsonsh-2.json的配置文件,sh-1.json的内容如下(sh-2.json中只是将SH-SH-1替换为SH-SH-2):
{ "domain_root": ".SH-SH-1.domain.rgw",
"control_pool": ".SH-SH-1.rgw.control",
"gc_pool": ".SH-SH-1.rgw.gc",
"log_pool": ".SH-SH-1.log",
"intent_log_pool": ".SH-SH-1.intent-log",
"usage_log_pool": ".SH-SH-1.usage",
"user_keys_pool": ".SH-SH-1.users",
"user_email_pool": ".SH-SH-1.users.email",
"user_swift_pool": ".SH-SH-1.users.swift",
"user_uid_pool": ".SH-SH-1.users.uid",
"system_key": { "access_key": "", "secret_key": ""},
"placement_pools": [
{ "key": "default-placement",
"val": { "index_pool": ".SH-SH-1.rgw.buckets.index",
"data_pool": ".SH-SH-1.rgw.buckets"}
}
]
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

注意placement_pools配置,用来存储bucket,bucket index等信息key需要是定义region时placement_target中指定的某个name

  • 创建Zone - SH-1
#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1
#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1
  • 1
  • 2
  • 创建Zone - SH-2
#radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
#radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
  • 1
  • 2
  • 更新regionmap
#radosgw-admin regionmap update --name client.radosgw.SH-SH-1
#radosgw-admin regionmap update --name client.radosgw.SH-SH-2
  • 1
  • 2
  • 3

创建Zone - 用户

Zone用户信息存储在Zone的存储池中,所以需要先配置Zone再创建用户;创建用户后,请注意保留access_keysecret_key信息,以便后面更新Zone信息:

#radosgw-admin user create --uid="sh-1" --display-name="Region-SH Zone-SH-1" --name client.radosgw.SH-SH-1 --system

#radosgw-admin user create --uid="sh-2" --display-name="Region-SH Zone-SH-2" --name client.radosgw.SH-SH-2 --system
  • 1
  • 2
  • 3

更新 Zone

将上述创建的两个用户的access_keysecret_key分布拷贝到创建Zone那一节创建的两个配置文件sh-1.jsonsh-2.json中,并执行下面的命令更新Zone配置:

#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1
#radosgw-admin zone set --rgw-zone=SH-1 --infile sh-1.json --name client.radosgw.SH-SH-1 #radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
#radosgw-admin zone set --rgw-zone=SH-2 --infile sh-2.json --name client.radosgw.SH-SH-2
  • 1
  • 2
  • 3
  • 4
  • 5

配置前端

  • 生成rgw配置

Apache,Nignx及civetweb都可以作为rgw前端,在这之前,曾写过一篇有关rgw各前端配置的文章,有需要的读者可以前往阅读。下面,给出本文中的apache配置(/etc/httpd/cond.d/rgw.conf):

<VirtualHost *:80>
ServerName {fqdn}
DocumentRoot /var/www/html ErrorLog /var/log/httpd/rgw_error.log
CustomLog /var/log/httpd/rgw_access.log combined # LogLevel debug RewriteEngine On RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L] SetEnv proxy-nokeepalive 1 #ProxyPass / unix:///var/run/ceph/ceph-client.radosgw.SH-SH-1.asok
ProxyPass / fcgi://{fqdn}:9000/ </VirtualHost>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20

{fqdn}需替换为所在节点的主机名,ProxyPass需要根据ceph.conf文件中的rgw实例配置来设置

  • 创建数据目录

在实例节点上分别为rgw实例创建数据目录,目录格式:{type}.{id}:

#mkdir -p /var/lib/ceph/radosgw/ceph-radosgw.SH-SH-1

#mkdir -p /var/lib/ceph/radosgw/ceph-radosgw.SH-SH-2
  • 1
  • 2
  • 3

启动实例

在两个实例节点上分别启动实例及前端

#radosgw -c /etc/ceph/ceph.conf -n client.radosgw.SH-SH-1
#systemctl restart httpd.service #radosgw -c /etc/ceph/ceph.conf -n client.radosgw.SH-SH-2
#systemctl restart httpd.service
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
CEPH RGW多 ZONE的配置

主备复制

rgw配好后,可以通过radosgw-agentmaster zone - SH-1中的数据复制到slave zone - SH-1,实现提高可用性及读性能的目的

配置

创建cluster-data-sync.conf文件,并填充如下内容:

src_access_key: {source-access-key} //master zone用户的秘钥信息
src_secret_key: {source-secret-key}
destination: https://{fqdn}:port //这里是slave zone的endpoints地址
dest_access_key: {destination-access-key} //slave zone用户的秘钥信息
dest_secret_key: {destination-secret-key}
log_file: {log.filename} //日志文件

CEPH RGW多 ZONE的配置的更多相关文章

  1. CEPH集群操作入门--配置

      参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象 ...

  2. ceph rgw java sdk 使用域名访问服务时需要设置s3client的配置项 PathStyleAccess 为true, 负责将报域名异常

    Caused by: java.net.UnknownHostException: my-new-bucket.s3.yyclouds.com at java.net.InetAddress.getA ...

  3. 趣解 ceph rgw multisite data sync 机制

    multisite是ceph rgw对象数据异地容灾备份的一个有效方案,笔者希望深入理解该技术,并应用于生产环境中,然而rgw的这部分代码晦涩难懂,笔者多次尝试阅读,仍云里雾里不解其意,最终流着泪咬着 ...

  4. CEPH RGW集群和bucket的zone group 不一致导致的404异常解决 及 使用radosgw-admin metadata 命令设置bucket metadata 的方法

      问题现象: 最近在研究zonegroup的配置操作,发现在配置zonegroup后修改了default zone,导致访问对象报404错误. 问题原因: rgw 日志 报异常'request fo ...

  5. Ceph RGW 和 niginx 配置要点

    cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn ...

  6. Ceph RGW 的 OSPF负载均衡 &plus; quagga的配置

      随着开源技术的发展,以及商业设备价格的不断攀升.大公司总是希望能使用开源的方案来替换过去使用的商业设备.比如之前大家用的很多的F5和A10,现在已经在逐步被LVS替换.传统的单个lvs的性能是比不 ...

  7. ceph rgw multisite基本用法

    Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有 一个Master Zonegroup,用于处理系统变更,其他的称为Slave Zonegroup, ...

  8. Ceph RGW服务 使用s3 java sdk 分片文件上传API 报&OpenCurlyQuote;SignatureDoesNotMatch’ 异常的定位及规避方案

    import java.io.File;   import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile ...

  9. 010 Ceph RGW对象存储

    一.对象存储 1.1 介绍 通过对象存储,将数据存储为对象,每个对象除了包含数据,还包含数据自身的元数据 对象通过Object ID来检索,无法通过普通文件系统操作来直接访问对象,只能通过API来访问 ...

随机推荐

  1. 利用nodejs的cheerio抓取网站数据

    /*引入模块*/ var http = require('http') var url = 'http://www.cnblogs.com/txxt' var cheerio = require('c ...

  2. SQL升级脚本实现按版本差异化升级

    目前的项目里面,升级脚本是一个SQL文件,无论软件从哪个版本升级,都会把SQL文件里面的语句全部执行一遍,这样存在两个问题: 1.SQL升级文件很庞大,几M很常见,导致文件的加载很慢: 2.重复执行脚 ...

  3. linux库列表

    SDL库 curses openssl zlib library curl library GNU Readline library

  4. Msbuild利用cpu多核加速

    msbuild /t:Rebuild /p:Configuration=Release /m /m 自动检测cpu数量启动对应数量进程

  5. DropMaster

    DropMaster 是4个原生 VCL 控件的集合,在 Delphi 和 C++Builder 中使用.虽然包含在 Delphi 和 C++Builder 中的 VCL 组件允许同一程序内窗口之间的 ...

  6. 可视化MNIST之降维探索Visualizing MNIST&colon; An Exploration of Dimensionality Reduction

    At some fundamental level, no one understands machine learning. It isn’t a matter of things being to ...

  7. IOS 弹出菜单的动态效果

    效果1.点击按钮上浮 2.点击按钮下沉 3.点击按钮下拉展示 4.点击按钮向上收缩 5.左右如是说 关键是改变视图的大小位置的时机正确与否 eg1.1.点击按钮下沉消失 已知myView.frame= ...

  8. 学会Nodejs 的require和exports

    NodeJs中模块的导入和导出,是最基本的概念,但是看了之后,心里还是有一些疑惑的地方,比如: 1.有两个文件:part.js 和 main.js,main.js中要想使用part.js中定义的变量和 ...

  9. 剑指offer 重建二叉树

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 3 ...

  10. IE的hack问题浅谈

    *我一直以为是IE7的专属选择. 开始,我以为是bug ,怎么可能会有+号.一定是哪位同事写错了.找了度娘才知道自己的不足.原来也是可以的. 后来,通过ie8和ie7来调整自己的css.也感觉不用ha ...