故障排查：是什么 导致了客户端批量心跳超时掉线
心跳超时指的是：针对某个在线的客户端（TCP连接），ESFramework服务端在指定的时间内，没有收到来自该客户端的任何消息，则认为该客户端已经掉线。
为什么需要心跳机制了？因为针对某些客户端掉线（可能是因为网络断开、或客户端程序退出），服务端不能立即感受到（有的可能需要过很长的时间才能感受到），所以，需要引入心跳机制，让服务端尽可能早地发现客户端已经不在线了。关于心跳机制，更详细的介绍可以参见这里。
如果发生了很多客户端批量心跳超时掉线的情况，就说明服务端在过去的某段时间内，从未收到来自这些客户端的任何心跳消息。通常有3种可能性导致该情况发生：
1.CPU或内存使用率过高
在该情况发生时，观察一下服务端进程的CPU和内存是否有异常。
比如，当CPU持续在100%时，就有可能导致接收数据的操作被停止。
2.处理某些信息所花费的时间过长
如果服务端的信息处理模型设定的是IocpDirectly，那么依据IocpDirectly的原理，当处理某个信息所花费的时间超过了服务端设定的心跳超时的时间，服务端就会将对应的客户端误判为心跳超时掉线。
假设是该原因导致的心跳超时，则对应的解决方案有：
（1）找出那些处理非常耗时的信息，进行优化理，加快处理速度。
（2）将超时时间间隔设定位一个更大的值或关闭心跳检测。
（3）将信息处理修改为异步模式。
（4）将服务端信息处理模型修改为TaskQueue模式，这样就完全避免了由于信息处理时间过长导致误判的情况。
很显然，方案（1）是最好的也是根本性的解决方案。
3.服务器网络拓扑结构、防火墙、路由器、网络安全监控等相关软硬件
如果排除了前面的可能性（比如，即使改成了TaskQueue模式，批量掉线仍然发生），那么，几乎就只剩下一个可能：服务端在心跳超时时间间隔内未收到来自这些客户端的任何消息。很可能来自客户端的消息被防火墙、路由器、或某些网络完全监控的相关软硬件给挡住了。
此时，需要专业的运维人员或网管人员参与进来，协助排查问题，比如：
（1）在服务器上执行netstat命令，查看目标端口的相关状态信息。
（2）在服务器上执行抓包工具，监测目标端口上是否有数据从客户端过来。
（3）分析服务器的网络拓扑结构，并以服务器为中心，依次向外检查防火墙、路由器、网络安全监控等相关软硬件等的设定，并进行针对性的排查测试。
经过以上的排查分析，应该都可以找到问题的根源所在，如果还是没有结果，可以给我留言，我们一起讨论下啊。
http://www.cnblogs.com/zhuweisky/p/4401435.html