宕机不等于关机,阴魂不散的vm

时间:2022-09-27 19:54:47

  今天早上刚到公司,就发现研发环境的机器连不上了。

  公司研发环境的部署比较简单,物理机上装VMware Esxi 6 ,然后在esxi上装虚机。

  检查发现:esxi ping不通,客户端也连不上;物理机远程管理卡ping不通,ipmi管理客户端也连不上。

  处理方法:五年前的机器了,远程管理卡都连不上了,一般就是服务器硬件出问题了。不去管它了,直接找别的机器再搭一套研发环境就是了。新研发环境机器数量用途不变,只是给四台机器换了下ip地址。见下图:

    宕机不等于关机,阴魂不散的vm

  说干就干,装起来,机器装完之后开始部署服务,在部署调试的过程中发现部分机器特别卡,ssh上去之后敲命令都卡,一般都得等十几秒才能缓过来。

  调查过程:

    1、检测esxi物理机性能,未见异常

    2、检测各虚拟机性能,未见异常

    3、因为新的研发环境是两个人一起完成的,检测两个人历史操作记录和配置文件,未见异常

    4、百度 esxi 虚拟机丢包 ,未果

    5、检查同物理机上的原有虚机(物理机上部署新研发环境之前还有8台虚机),原有虚机没有发现丢包现象

    6、写个脚本循环ping新研发环境的各个ip,发现上图中新使用的ip(绿色部分)一个包也不丢

    7、对比试验,新建两台vm 10.12.30.61 和 10.12.30.62 ,进行ping测试,不丢包

    8、给新建的两台vm 更改ip为原来用过的 10.12.30.7 和 10.12.30.8 ,进行测试,发现丢包现象

      宕机不等于关机,阴魂不散的vm

    9、思考:ip冲突?老机器物理机都挂了,vm也连不上了,不可能互相抢ip啊!!!

    10、验证9中的想法,当我循环ping的脚本报告 10.12.30.12 ping 失败的时候,开一个新的ssh会话,快速执行多次 arp -an ,见下图。还真是ip冲突了!!!! 同一个IP地址,两次看到的mac地址不一样。老机器自己恢复了?

      宕机不等于关机,阴魂不散的vm

    11、再次检查老机器 远程管理卡、物理机操作系统、虚机操作系统,依旧都连不上。但问题肯定出在老的机器上

    12、验证11中的想法,由于远程管理卡都连不上了,我人有不在机房,那就只能去交换机上把老机器的接口shutdown了。在交换机上把老机器的接口shutdown后进行ping测试,一切正常,一个包都不丢了。

    13、看来11中的想法是对的,其实也不是阴魂不散,机器宕机后,虽然好多服务都无法使用了,因为没有进行断电操作,有部分基础的服务仍运行在内存中,比如这次宕机后虽然物理机和虚机都ping不通也连不上了,但是还能进行arp应答,也算是比较顽强的了

  总结经验教训:如果物理机被认定发生硬件故障无法继续使用了,一定要进行断电处理,同时也是为了机房其他服务器的安全和稳定

宕机不等于关机,阴魂不散的vm的更多相关文章

  1. VmWare平台Windows Server 2012 无响应宕机

    我们生产服务器都部署在VMware ESXi 5.5平台上,最近大半年的时间,偶尔就会出现操作系统为Windows Servre 2012的服务器出现没有任何响应(unresponsive)的情况,出 ...

  2. Linux宕机最安全的重启方法(你肯定不知道)

    Linux 内核虽然号称“不死族”,几乎不会崩溃或者死机,但是特殊情况下,还是有一定几率会宕机的.因为 Linux 广泛用于生产环境,所以每一次宕机都会引起相当大的损失.本文介绍在它死机至后,一种温柔 ...

  3. Centos7.5调试/etc/sysctl.conf文件导致宕机

    今天安装greenplus数据库,需要调试一个核心文件/etc/sysctl.conf文件,结果导致系统异常宕机,出现的问题就是使用任何命令都不能输出正确的结果,只有这个显示: 不知道是什么原因,ls ...

  4. *阿里云宕机 3 小时的 IO HANG 究竟是个什么鬼?!

    2019年3月3日凌晨,微博炸锅,有网友反映说阿里云疑似出现宕机,华北很多互联网公司受到暴击伤害,APP.网站全部瘫痪,我自己的朋友圈和微信群里也有好友反馈,刚刚从被窝被叫起来去修Bug,结果发现服务 ...

  5. 【JVM】linux上tomcat中部署的web服务,时好时坏,莫名其妙宕机,报错:There is insufficient memory for the Java Runtime Environment to continue.

    =========================================================================================== 环境: linu ...

  6. Elasticsearch宕机问题

    个人博客:https://blog.sharedata.info/ Elasticsearch 突然宕机,每次重启都只生成错误日志报错信息:## There is insufficient memor ...

  7. weblogic宕机crash问题解决分享

    近期比較烦躁.系统频繁出现宕机.weblogic控制台打印出例如以下内容: # Afatal error has been detected by the Java Runtime Environme ...

  8. 支持宕机自动恢复触发一次性或周期性任务执行的组件包首次介绍-easyTask

    easyTask介绍 一个方便触发一次性或周期性任务执行的工具包,支持海量,高并发,高可用,宕机自动恢复任务 使用场景 需要精确到秒的某一时刻触发任务执行.比如订单交易完成24小时后如果客户未评价,则 ...

  9. java调用jni oci接口宕机原因排查

    调用最简单的JNI没有出错,但是涉及到OCI时就会异常退出,分析后基本确定是OCI 11g中的signal所致,参考ora-24550 signo=6 signo=11解决. 但是这个相同的so库直接 ...

随机推荐

  1. Unity3D 之UGUI 滚动条

    先上效果图. 这里来说明下UGUI 滚动条,不涉及到代码. 主要用到的控件Scroll Rect ,Mask,Scrollbar. 第一步,建立一个Image,然后绑定一个滑动块的组件,添加一个mas ...

  2. HDU4405-Aeroplane chess(可能性DP需求预期)

    Aeroplane chess Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) ...

  3. Mac下一个/usr/include失踪

    Mac升级到Yosemite后,突然发现vim的YouCompleteMe代码提示所以空头支票成员,排查了一下,原本/usr/include目录中缺少.所有的C/C++头文件不见了. .. 第一次发现 ...

  4. 如何在无法直接用VS启动代码时如何调试代码

    1. 普通情况下对进程Attach就可以调试. 2. 但是在一些情况下直接attach并无法调试,例如安装程序installer, 这样使用如下的调试方法即可调试安装程序. System.Diagno ...

  5. java之SpringMVC的controller配置总结

    先在springmvc-servlet.xml文件作如下配置(注解开发controller) <?xml version="1.0" encoding="UTF-8 ...

  6. webpack学习笔记——--save-dev和--save

    --save-dev 是你开发时候依赖的东西,--save 是你发布之后还依赖的东西. dependencies是运行时(发布后)依赖,devDependencies是开发时的依赖 比如,你写 ES6 ...

  7. 《linux就该这么学》第四节课笔记,三章和四章开始!

    第三章 (根据课本和在线培训视频排版总结,借鉴请改动)         右键可打开终端练习             3.1:输入输出重定向 输入重定向:符号 "<" ,是一种 ...

  8. Laravel传值总结

    Laravel传值:with,view(),compact方法一:with public function index() { $title = '文章标题1'; return view('artic ...

  9. SUST OJ 1642&colon; 绝地求生—死亡顺序

    1642: 绝地求生-死亡顺序 时间限制: 1 Sec  内存限制: 128 MB提交: 81  解决: 53[提交][状态][讨论版] 题目描述 最近陕西科技大学六公寓的小东同学深深的入迷了一款游戏 ...

  10. JSPatch 可以让你用 JavaScript 书写原生 iOS APP

    简介   JSPatch 可以让你用 JavaScript 书写原生 iOS APP.只需在项目引入极小的引擎,就可以使用 JavaScript 调用任何 Objective-C 的原生接口,获得脚本 ...