IT168 专稿】近日,笔者在浏览ixpub社区(点击进入)时,无意之中碰到一个相对 “久远”的帖子,感觉比较有意思,更重要的是相信很多做
存储的朋友可能都会遇到过相同情况的“困扰”,今天笔者就将帖子部分精华部分整理如下,谨供各位参考:)
[ixpub网友:披发头陀] T级的备份兄弟们都怎么做?具体是一个扫描系统,存储图片持续增长可能最后到十几至几十T的东西,用什么方式来备份比较好?
[ixpub网友:wangyuep]从产品来讲用虚拟磁带库,同时采用适当时备份任务。
[ixpub网友:orian]用虚拟带库成本太高,做近线备份还可以,再配一些大带库。现在一盘磁带裸容量可以达到400G,几十个T也不过百十来盘磁带而已。ibm的3584都不需要扩展柜。如果是图片,尽管总量大,改变却很少,tsm软件比较适合,省磁带空间。
[ixpub网友:prada_gu]orian呀,数据那么大,怎么可能用磁带来备呢,时间窗口和RTO如何控制呢?
[ixpub网友:orian]现在磁带海量、高速啊!80MB/s的吞吐量(还没算压缩),配上10个带机,800MB/s啊,1个T不过几分钟的事情。虚拟带库?那是骗低端用户的!(也不能说骗啦)
磁盘什么速度?通常也就是几百M吧!要是配那种SATA的磁盘……,唯一的优点是同时支持很多客户端并行。另外一些备份软件没有回收、收集功能,不希望把数据备份到多盘磁带上,因此也希望用虚拟带库。
我觉得如果只有两三个磁带机的时候,客户端很多,还是需要磁盘中间做缓冲的,但不一定是虚拟带库,比如很多软件直接支持磁盘文件格式,就用文件系统好了。如果都是大数据库的海量数据,配了十个八个的带机,虚拟带库就是个累赘了。
[ixpub网友:披发头陀]不知道磁带损坏的问题怎样?就是一盘磁带丢失了一部分数据,会不会整盘带子的备份都无效了?
[ixpub网友:orian]至少感觉比磁盘好。另外现在磁带又复杂的校验技术,只要不是磁带断了,出几个洞都没事。
但是磁带怕灰(这个影响比较大),怕潮湿,怕干燥 (这两个还没那么极端)。总体来说,如果普通环境,磁带成本比磁盘低很多,越大越低。磁盘的耗电也不可忽视(甚至是非常大)。
个人建议(尚未仔细核算):
几个T以内的数据量,备份性能要求不高:带库,2个带机。
几个T以内的数据量,备份性能要求高:带库,2个带机,配合几十G以上的磁盘空间,但不要太多,而且内置的磁盘都可以(有raid保护),定期做迁移。
几十个T以内的数据量,备份性能要求不高:带库,根据备份窗口选择带机数量,对某些大量碎文件,客户端数量非常多(几十个以上),可以考虑用用一些磁盘空间,否则直接LANFree到磁带。
如果以上操作不能用LANfree,必须走lan,那么虚拟磁带库似乎有些用途,但实际上如果备份软件支持,直接用磁盘空间好了,为什么还要把磁盘再虚拟成磁带呢?
市场上一些虚拟带库可能由于是集成化的产品,包括了备份服务器等,这样不用再单独配置软件,所以其实卖的是集成备份方案,减少了集成、维护、管理的复杂性,跟是否虚拟关系不大。
[ixpub网友:时间不够用] 我不同意orian的意见,在使用物理磁带和虚拟带库之间,还是倾向于用虚拟带库的。对读写的性能还是提高很多的,而且故障率也不高;物理带库经常驱动器或是机械臂出问题,挂一盘磁带要找半天,磁带保存也容易受潮什么的而发生故障。在虚拟带库上,其实就是物理磁盘上,这些都是可以避免的。
上TB的数据,如果考虑备份/恢复窗口以及恢复时间的话,最好是采用同步/异步复制的方式,备用磁盘/磁带备份的方式,只能是等级最低的了,灾难发生时,能在多长时间内恢复很难把握。
[ixpub网友:orian]看来我们立场不同:最主要原因是我用tsm, 很少用veritas。你用veritas?
tsm里通常配一个磁盘存储池,磁带作为二级,因此就也就虚拟了。对于数据库一类的备份,通常是大文件,会直接写磁带,这时候lanfree写磁带的速度我觉得还不错。
mount磁带的时间确实是磁带的大问题,但通常也不会超过1分钟,除非非常繁忙的备份,原来还有磁带在里面,但也不会很长时间。
veritas缺省情况每个客户端写单独的一盘磁带,tsm中一个pool中大家写在一起(也可以通过参数调整),然后如果需要,后台再作整理(collection)所以磁带倒换的情况并不严重。
磁带机机械手故障稍频繁,毕竟是机械的东西,但是越大型的带库稳定性越高,有一些还配备有双机械手。而虚拟带库由于其起点,不会是高端的,中、低端居多,稳定性就其设计成本不会太高。
当然,我绝对没有舍虚拟带库而最好磁带的想法,否则我就是硬件销售了,专门卖带机的。实际选择还是需要根据需求选择(排名不分先后):
1. 大文件还是碎文件 碎文件--〉虚拟带库
2. 备份客户端数量 多--〉虚拟带库
3. 恢复的频繁程度 频繁--〉虚拟带库
4. 备份的并行度 高--〉虚拟带库
5. 管理经验 低--〉虚拟带库
6. 总备份容量 少--〉虚拟带库
7. 钱 多---〉虚拟带库
8. 异地保存要求 没有--〉虚拟带库
9. 备份软件 (看软件特性)
如果选择相反,建议直接用磁带库
关于TB的备份,也没有一定的规则,看备份数据类型、备份窗口、性能要求等等,最好把情况说清楚。IT设计不是一把香灰,什么病都是一包,就是外观病症一样,也可能给你不同的药。
【IT168 专稿】近日,笔者在浏览ixpub社区(点击进入)时,无意之中碰到一个相对 “久远”的帖子,感觉比较有意思,更重要的是相信很多做存储的朋友可能都会遇到过相同情况的“困扰”,今天笔者就将帖子部分精华部分整理如下,谨供各位参考:)
[ixpub网友:披发头陀] T级的备份兄弟们都怎么做?具体是一个扫描系统,存储图片持续增长可能最后到十几至几十T的东西,用什么方式来备份比较好?
[ixpub网友:wangyuep]从产品来讲用虚拟磁带库,同时采用适当时备份任务。
[ixpub网友:orian]用虚拟带库成本太高,做近线备份还可以,再配一些大带库。现在一盘磁带裸容量可以达到400G,几十个T也不过百十来盘磁带而已。ibm的3584都不需要扩展柜。如果是图片,尽管总量大,改变却很少,tsm软件比较适合,省磁带空间。
[ixpub网友:prada_gu]orian呀,数据那么大,怎么可能用磁带来备呢,时间窗口和RTO如何控制呢?
[ixpub网友:orian]现在磁带海量、高速啊!80MB/s的吞吐量(还没算压缩),配上10个带机,800MB/s啊,1个T不过几分钟的事情。虚拟带库?那是骗低端用户的!(也不能说骗啦)
磁盘什么速度?通常也就是几百M吧!要是配那种SATA的磁盘……,唯一的优点是同时支持很多客户端并行。另外一些备份软件没有回收、收集功能,不希望把数据备份到多盘磁带上,因此也希望用虚拟带库。
我觉得如果只有两三个磁带机的时候,客户端很多,还是需要磁盘中间做缓冲的,但不一定是虚拟带库,比如很多软件直接支持磁盘文件格式,就用文件系统好了。如果都是大数据库的海量数据,配了十个八个的带机,虚拟带库就是个累赘了。
[ixpub网友:披发头陀]不知道磁带损坏的问题怎样?就是一盘磁带丢失了一部分数据,会不会整盘带子的备份都无效了?
[ixpub网友:orian]至少感觉比磁盘好。另外现在磁带又复杂的校验技术,只要不是磁带断了,出几个洞都没事。
但是磁带怕灰(这个影响比较大),怕潮湿,怕干燥 (这两个还没那么极端)。总体来说,如果普通环境,磁带成本比磁盘低很多,越大越低。磁盘的耗电也不可忽视(甚至是非常大)。
个人建议(尚未仔细核算):
几个T以内的数据量,备份性能要求不高:带库,2个带机。
几个T以内的数据量,备份性能要求高:带库,2个带机,配合几十G以上的磁盘空间,但不要太多,而且内置的磁盘都可以(有raid保护),定期做迁移。
几十个T以内的数据量,备份性能要求不高:带库,根据备份窗口选择带机数量,对某些大量碎文件,客户端数量非常多(几十个以上),可以考虑用用一些磁盘空间,否则直接LANFree到磁带。
如果以上操作不能用LANfree,必须走lan,那么虚拟磁带库似乎有些用途,但实际上如果备份软件支持,直接用磁盘空间好了,为什么还要把磁盘再虚拟成磁带呢?
市场上一些虚拟带库可能由于是集成化的产品,包括了备份服务器等,这样不用再单独配置软件,所以其实卖的是集成备份方案,减少了集成、维护、管理的复杂性,跟是否虚拟关系不大。
[ixpub网友:时间不够用] 我不同意orian的意见,在使用物理磁带和虚拟带库之间,还是倾向于用虚拟带库的。对读写的性能还是提高很多的,而且故障率也不高;物理带库经常驱动器或是机械臂出问题,挂一盘磁带要找半天,磁带保存也容易受潮什么的而发生故障。在虚拟带库上,其实就是物理磁盘上,这些都是可以避免的。
上TB的数据,如果考虑备份/恢复窗口以及恢复时间的话,最好是采用同步/异步复制的方式,备用磁盘/磁带备份的方式,只能是等级最低的了,灾难发生时,能在多长时间内恢复很难把握。
[ixpub网友:orian]看来我们立场不同:最主要原因是我用tsm, 很少用veritas。你用veritas?
tsm里通常配一个磁盘存储池,磁带作为二级,因此就也就虚拟了。对于数据库一类的备份,通常是大文件,会直接写磁带,这时候lanfree写磁带的速度我觉得还不错。
mount磁带的时间确实是磁带的大问题,但通常也不会超过1分钟,除非非常繁忙的备份,原来还有磁带在里面,但也不会很长时间。
veritas缺省情况每个客户端写单独的一盘磁带,tsm中一个pool中大家写在一起(也可以通过参数调整),然后如果需要,后台再作整理(collection)所以磁带倒换的情况并不严重。
磁带机机械手故障稍频繁,毕竟是机械的东西,但是越大型的带库稳定性越高,有一些还配备有双机械手。而虚拟带库由于其起点,不会是高端的,中、低端居多,稳定性就其设计成本不会太高。
当然,我绝对没有舍虚拟带库而最好磁带的想法,否则我就是硬件销售了,专门卖带机的。实际选择还是需要根据需求选择(排名不分先后):
1. 大文件还是碎文件 碎文件--〉虚拟带库
2. 备份客户端数量 多--〉虚拟带库
3. 恢复的频繁程度 频繁--〉虚拟带库
4. 备份的并行度 高--〉虚拟带库
5. 管理经验 低--〉虚拟带库
6. 总备份容量 少--〉虚拟带库
7. 钱 多---〉虚拟带库
8. 异地保存要求 没有--〉虚拟带库
9. 备份软件 (看软件特性)
如果选择相反,建议直接用磁带库
关于TB的备份,也没有一定的规则,看备份数据类型、备份窗口、性能要求等等,最好把情况说清楚。IT设计不是一把香灰,什么病都是一包,就是外观病症一样,也可能给你不同的药。
本文出自 51CTO.COM技术博客