症状:
突然有一天boss说CommVault的备份上面多了很多报错,内容是一些快照需要手动删除。
查看了vcenter,确实有好几个虚机报错,提示:虚拟机需要整合快照。
尝试:
整合快照很简单啊!右键虚机->快照管理->整合。
事实是,整合了n遍都提示失败,整合超时,整合超过最大尝试次数。快照管理器里面没有任何快照,但是浏览存储发现有很多快照没有被删掉!好气啊!
CommVault的原厂工程师排查之后说和备份没有关系,是vc这边的问题,更气,觉得就是在为自己开脱啊!然后建议把问题虚机克隆来解决。我试了一个100G左右的虚机,至少要二十分钟。果断抛弃这个方法。
后来发现在关机的情况下整合是ok的。小开心。但是很多是生产的虚拟机,要联系用户单位还要半夜执行,感觉是自己坑自己啊!
雪上加霜:
周末来了,我忘记关掉备份作业,然后又有十几台vm出现了一样的问题。
vc这边重启了vc,数据库ok。没有任何其他报错。基本没有头绪。
n天后请教了vmware原厂大神,大神说可能是你们存储有问题。
恍然大悟啊!下面挂的emc的存储确实是电池故障!但是电池故障又不影响读写,和这么上层的应用有毛毛关系啊。
但是!确实发现所有有毛病的vm都在emc的存储上。
emc这次电源故障也整了很久了,能想到的备件换了个遍,最后一招换线。。。
昨天我去换了电池和控制器之间的线!存储好了!快照也好了!可以开机整合!
总结:
快照有大io,如果不成功很可能和存储有关!
emc的电池会影响cache!mmd 这之间有神马关系。。。求解
啥东西坏了都先看看线!
冤枉了CommVault的帅哥哥!
心情大好,可以安心过年了!赠大家新校区放假后萧条的照片一张