笔者在为容器云做存储支持时开始接触、使用、研究ceph分布式存储系统。Ceph能够同时提供对象存储、文件存储以及块存储，为基于云的海量数据存储提供了较优的解决方案。
具体了解ceph相关内容请参考ceph官网[1]及论文[2]。本文主要讲基于ssd和hdd混合硬件的三种架构方案以及大致步骤，力求在硬件价格成本与存储服务性能之间找到一个最佳平衡点。目前ceph的osd主要可以基于SSD或者HDD的裸盘进行构建，如果全部基于SSD进行构建，毫无疑问其性能一定会最优，但是SSD价格昂贵，出于成本考虑，不可能全部采用SSD进行构建，那么SSD与HDD混合硬件架构就显得很有必要。下面我们根据ceph的功能特点来讲三种架构方案，以及实现的大致步骤。
方案1：主本在SSD其余副本在HDD：
ceph写时先写primary，成功后primary写向其余副本，其余副本写成功才会向ceph客户端响应写成功，而ceph读时直接从primary读取。综合考虑，将primary放在基于SSD的OSD上，其余副本放在基于HDD的OSD上，步骤大体如下：
1.1 设置ceph.conf 主副本倾向性选择性为true
[mon]
…
monosd allow primary affinity = true
…
修改配置后强制同步到集群的其它机器，重启mon。
1.2 将hdd被选为primary的概率设置为0：
ceph osd primary-affinity osd.<id> 0
1.3 编写新的crush rule 使得主副本一定落在ssd上，假设bucket只有host:
rule ssd-primary-rule{
ruleset 1
typereplicated
min_size 2
max_size 3
step take default class ssd
step chooseleaf firstn 1 type host
step emit
step take default class hdd
step chooseleaf firstn -1 type host
step emit
}
1.4 编译crush rule:
1.4.1 获取ceph集群crush map:
ceph osd getcrushmap -o{compiled-crushmap-filename}
1.4.2 反编译获取的map二进制文件:
crushtool -d{compiled-crushmap-filename} -o {decompiled-crushmap-filename}
1.4.3 将1.3中编写的rule添加到反编译可编辑文件的rule集合中；
1.4.4 重新编译生成crush map二进制文件：
crushtool -c {decompiled-crushmap-filename}-o {compiled-crushmap-filename}
1.4.5 将新的crush map注入进ceph集群中:
ceph osdsetcrushmap -i {compiled-crushmap-filename}
1.5 创建pool并指定该pool所用crush rule 为1.3的rule:
ceph osd pool create ssdprimary_pool 128 128
ceph osd poolset ssdprimary_pool crush_rule ssd-primary-rule
至此，对于存储池ssdprimary_pool的主副本一定会落在ssd上，其余副本在hdd上。
方案2：为用户存储池分优先级：
用户优先级高的所有副本指定到ssd，优先级低的所有副本指定到hdd，也是通过编写crush rule来实现，具体可模仿1.3 的crush rule 。crush rule的理解请参考论文[3]。
方案3：分层存储
分层存储利用ceph的缓存代理技术，将ssd作为hdd的缓存层，把客户端对hdd的写与读全部引到对ssd的写与读，而用户本身不用关心其实现细节及后端配置。实现这样的功能，需要进行如下配置：
3.1 创建两个crush rule, 使得cache pool能够全部选择ssd,storage pool能够全部选择hdd:
rule high-priority{
id 2
type replicated
min_size 2
max_size 3
step take default class ssd
step chooseleaf firstn 0 type host
step emit
}
rule low-priority{
id 3
type replicated
min_size 2
max_size 3
step take default class hdd
step chooseleaf firstn 0 type host
step emit
}
3.2. 分别创建后端存储池和前端缓存池：
ceph osd pool create test_storage 64 64 low-priority
ceph osd pool create test_cache 64 64 high-priority
3.3. 设置缓存池为存储池的tier:
ceph osd tier add test_storage test_cache
3.4. 设置缓存模式：
ceph osd tier cache-mode test_cachewriteback
3.5. 打通客户端从存储池到缓存池的交互：
ceph osd tier set-overlay test_storage test_cache
至此，之后客户端对真正后端存储池的所有操作将被透明化到前端缓存池，当然，由于缓存的存在，缓存刷写参数的配置将会很大程度上影响性能。
三种混合硬件存储架构方案，具体哪一种能将存储性能发挥到最优，还需要不断测试对比以及根据实际业务进行配置与调整，没有绝对的好与坏。
[1]. https://ceph.com/
[2]. Sage A.Weil, Andrew W.Leung,Scott A. Brandt, Carlos Maltzahn. RADOS：A Scalable,Reliable Storage Service for Petabyte-scale Storage Clusters.
[3]. Sage A.Weil, Andrew W.Leung, Ethan L.Miller, CarlosMaltzahn. CRUSH: Controlled, Scalable, Decentralized Placement of ReplicatedData.