Memcached笔记——(四)应对高并发攻击【转】

时间:2024-07-20 08:07:49

http://snowolf.iteye.com/blog/1677495

近半个月过得很痛苦,主要是产品上线后,引来无数机器用户恶意攻击,不停的刷新产品各个服务入口,制造垃圾数据,消耗资源。他们的最好成绩,1秒钟可以并发6次,赶在Database入库前,Cache进行Missing Loading前,强占这其中十几毫秒的时间,进行恶意攻击。

相关链接: 
Memcached笔记——(一)安装&常规错误&监控
Memcached笔记——(二)XMemcached&Spring集成 
Memcached笔记——(三)Memcached使用总结 

Memcached笔记——(四)应对高并发攻击

为了应对上述情况,做了如下调整:

  1. 更新数据时,先写Cache,然后写Database(双写),如果可以,写操作交给队列后续完成。
  2. 限制统一帐号,同一动作,同一秒钟并发次数,超过1次不做做动作,返回操作失败。
  3. 限制统一用户,每日动作次数,超限返回操作失败。

要完成上述操作,同事给我支招。用Memcached的add方法,就可以很快速的解决问题。不需要很繁琐的开发,也不需要依赖数据库记录,完全内存操作。Memcached笔记——(四)应对高并发攻击【转】

以下实现一个判定冲突的方法:

  1. /**
  2. * 冲突延时 1秒
  3. */
  4. public static final int MUTEX_EXP = 1;
  5. /**
  6. * 冲突键
  7. */
  8. public static final String MUTEX_KEY_PREFIX = "MUTEX_";
  9. /**
  10. * 冲突判定
  11. *
  12. * @param key
  13. */
  14. public boolean isMutex(String key) {
  15. return isMutex(key, MUTEX_EXP);
  16. }
  17. /**
  18. * 冲突判定
  19. *
  20. * @param key
  21. * @param exp
  22. * @return true 冲突
  23. */
  24. public boolean isMutex(String key, int exp) {
  25. boolean status = true;
  26. try {
  27. if (memcachedClient.add(MUTEX_KEY_PREFIX + key, exp, "true")) {
  28. status = false;
  29. }
  30. } catch (Exception e) {
  31. logger.error(e.getMessage(), e);
  32. }
  33. return status;
  34. }

做个说明:

选项 说明
add 仅当存储空间中不存在键相同的数据时才保存
replace 仅当存储空间中存在键相同的数据时才保存
set 与add和replace不同,无论何时都保存

也就是说,如果add操作返回为true,则认为当前不冲突!Memcached笔记——(四)应对高并发攻击【转】

回归场景,恶意用户1秒钟操作6次,遇到上述这个方法,只有乖乖地1秒后再来。别小看这1秒钟,一个数据库操作不过几毫秒。1秒延迟,足以降低系统负载,增加恶意用户成本。

附我用到的基于XMemcached实现:

  1. import net.rubyeye.xmemcached.MemcachedClient;
  2. import org.apache.log4j.Logger;
  3. import org.springframework.beans.factory.annotation.Autowired;
  4. import org.springframework.stereotype.Component;
  5. /**
  6. *
  7. * @author Snowolf
  8. * @version 1.0
  9. * @since 1.0
  10. */
  11. @Component
  12. public class MemcachedManager {
  13. /**
  14. * 缓存时效 1天
  15. */
  16. public static final int CACHE_EXP_DAY = 3600 * 24;
  17. /**
  18. * 缓存时效 1周
  19. */
  20. public static final int CACHE_EXP_WEEK = 3600 * 24 * 7;
  21. /**
  22. * 缓存时效 1月
  23. */
  24. public static final int CACHE_EXP_MONTH = 3600 * 24 * 30 * 7;
  25. /**
  26. * 缓存时效 永久
  27. */
  28. public static final int CACHE_EXP_FOREVER = 0;
  29. /**
  30. * 冲突延时 1秒
  31. */
  32. public static final int MUTEX_EXP = 1;
  33. /**
  34. * 冲突键
  35. */
  36. public static final String MUTEX_KEY_PREFIX = "MUTEX_";
  37. /**
  38. * Logger for this class
  39. */
  40. private static final Logger logger = Logger
  41. .getLogger(MemcachedManager.class);
  42. /**
  43. * Memcached Client
  44. */
  45. @Autowired
  46. private MemcachedClient memcachedClient;
  47. /**
  48. * 缓存
  49. *
  50. * @param key
  51. * @param value
  52. * @param exp
  53. *            失效时间
  54. */
  55. public void cacheObject(String key, Object value, int exp) {
  56. try {
  57. memcachedClient.set(key, exp, value);
  58. } catch (Exception e) {
  59. logger.error(e.getMessage(), e);
  60. }
  61. logger.info("Cache Object: [" + key + "]");
  62. }
  63. /**
  64. * Shut down the Memcached Cilent.
  65. */
  66. public void finalize() {
  67. if (memcachedClient != null) {
  68. try {
  69. if (!memcachedClient.isShutdown()) {
  70. memcachedClient.shutdown();
  71. logger.debug("Shutdown MemcachedManager...");
  72. }
  73. } catch (Exception e) {
  74. logger.error(e.getMessage(), e);
  75. }
  76. }
  77. }
  78. /**
  79. * 清理对象
  80. *
  81. * @param key
  82. */
  83. public void flushObject(String key) {
  84. try {
  85. memcachedClient.deleteWithNoReply(key);
  86. } catch (Exception e) {
  87. logger.error(e.getMessage(), e);
  88. }
  89. logger.info("Flush Object: [" + key + "]");
  90. }
  91. /**
  92. * 冲突判定
  93. *
  94. * @param key
  95. */
  96. public boolean isMutex(String key) {
  97. return isMutex(key, MUTEX_EXP);
  98. }
  99. /**
  100. * 冲突判定
  101. *
  102. * @param key
  103. * @param exp
  104. * @return true 冲突
  105. */
  106. public boolean isMutex(String key, int exp) {
  107. boolean status = true;
  108. try {
  109. if (memcachedClient.add(MUTEX_KEY_PREFIX + key, exp, "true")) {
  110. status = false;
  111. }
  112. } catch (Exception e) {
  113. logger.error(e.getMessage(), e);
  114. }
  115. return status;
  116. }
  117. /**
  118. * 加载缓存对象
  119. *
  120. * @param key
  121. * @return
  122. */
  123. public <T> T loadObject(String key) {
  124. T object = null;
  125. try {
  126. object = memcachedClient.<T> get(key);
  127. } catch (Exception e) {
  128. logger.error(e.getMessage(), e);
  129. }
  130. logger.info("Load Object: [" + key + "]");
  131. return object;
  132. }
  133. }

PS:Redis的SETNX(即SET if Not eXists,类似于memcache的add)

相关链接: 
Memcached笔记——(一)安装&常规错误&监控
Memcached笔记——(二)XMemcached&Spring集成 
Memcached笔记——(三)Memcached使用总结 

Memcached笔记——(四)应对高并发攻击

4 
2 
分享到: Memcached笔记——(四)应对高并发攻击【转】 Memcached笔记——(四)应对高并发攻击【转】
评论
8 楼 风吟想飞 2014-04-16  
[size=medium]您好,我初次使用XMemcached ,现在有个项目的业务和您在“Memcached笔记——(四)应对高并发攻击”中的业务描述一样,我看了您的文章,但是因为基础薄落,没有很好的明白怎么进行冲突判定。想麻烦您讲解一下。谢谢。[/size]
7 楼 di1984HIT 2014-04-14  
说的非常好啊
6 楼 snowolf 2014-02-26  
richardor 写道
那个超时一个月的常量,少乘7了

好眼力Memcached笔记——(四)应对高并发攻击【转】

5 楼 richardor 2014-02-25  
那个超时一个月的常量,少乘7了
4 楼 snowolf 2012-12-11  
zym820910 写道
snowolf 写道
CurrentJ 写道
先写Cache,然后写Database,断电或者故障会导致用户数据丢失。

各有利弊,需要根据业务需求权衡。Memcached笔记——(四)应对高并发攻击【转】

写得非常好!应对高并发的时候,我们通常的思维是泄洪模式,通过一道又一道的防洪大堤将洪水分流,尤其是在应对数据要求不严厉的SNS这类产品,异步的保存数据值得提倡!

不过,更好的方式是:通过旁路式架构,解决代码层面的大部分压力。现在很多商城的商品展示和搜索都采用NOSQL技术来应对处理,异步增加或更新,并不显得那么重要了,更多的是通过产品和技术架构来调整,比如通过分析用户喜好,事先静态化搜索结果。

赞同,感谢分享!Memcached笔记——(四)应对高并发攻击【转】 最核心的优化,还是应当在产品层面多下工夫。找到用户-产品-技术,三方都能满足的平衡点。

3 楼 zym820910 2012-12-11  
snowolf 写道
CurrentJ 写道
先写Cache,然后写Database,断电或者故障会导致用户数据丢失。

各有利弊,需要根据业务需求权衡。Memcached笔记——(四)应对高并发攻击【转】

写得非常好!应对高并发的时候,我们通常的思维是泄洪模式,通过一道又一道的防洪大堤将洪水分流,尤其是在应对数据要求不严厉的SNS这类产品,异步的保存数据值得提倡!

不过,更好的方式是:通过旁路式架构,解决代码层面的大部分压力。现在很多商城的商品展示和搜索都采用NOSQL技术来应对处理,异步增加或更新,并不显得那么重要了,更多的是通过产品和技术架构来调整,比如通过分析用户喜好,事先静态化搜索结果。

2 楼 snowolf 2012-11-07  
CurrentJ 写道
先写Cache,然后写Database,断电或者故障会导致用户数据丢失。

各有利弊,需要根据业务需求权衡。Memcached笔记——(四)应对高并发攻击【转】

1 楼 CurrentJ 2012-11-07  
先写Cache,然后写Database,断电或者故障会导致用户数据丢失。