Redis各种数据结构性能数据对比和性能优化实践

时间:2022-09-20 21:24:56

  很对不起大家,又是一篇乱序的文章,但是满满的干货,来源于实践,相信大家会有所收获。里面穿插一些感悟和生活故事,可以忽略不看。不过听大家普遍的反馈说这是其中最喜欢看的部分,好吧,就当学习之后轻松一下。

Redis各种数据结构性能数据对比

测试工具:perf4j

性能指标:平均值,最小值,最大值,方差

对比将814条数据按单条插入到哈希MAP和哈希SET:

Redis各种数据结构性能数据对比和性能优化实践

对比从814条数据的哈希MAP和哈希SET中判断一个元素是否存在(map的hasKey和set的isMember):

Redis各种数据结构性能数据对比和性能优化实践

Redis各种数据结构性能数据对比和性能优化实践

大量数据插入哈希MAP,运行一个多小时插入到2w多条的时候再也插入不进去了。想单个删除也很慢,跟插入差不多的慢。但是删除一整个key却很快。这和C语言的原理有关。删除key其实是删除的对value的引用,内存空间不需要重置,只在需要的时候将其重写。写过一个C语言基础入门的程序:

#include<stdio.h>
main(){
int a[5]={1,2,3,4,5};
int b[5]={1,2,3};
int c[]={1,2,3,4,5};
static int d[5];
int e[5];
int f[0];
int i;
for(i=0;i<5;i++)printf("%10d",a[i]);printf("\n");
for(i=0;i<5;i++)printf("%10d",b[i]);printf("\n");
for(i=0;i<5;i++)printf("%10d",c[i]);printf("\n");
for(i=0;i<5;i++)printf("%10d",d[i]);printf("\n");
for(i=0;i<5;i++)printf("%10d",e[i]);printf("\n");
for(i=0;i<5;i++)printf("%10d",f[i]);printf("\n");
}

运行结果:

Redis各种数据结构性能数据对比和性能优化实践

最后两行出现这个结果的原因是分配的地址空间原来是什么值就会显示什么值,所以是随机的。

 性能优化实践

  前段时间我改了并发量最大的媒资接口的JVM启动参数,修改之前栈空间是4G,新生代是1G,基本没有full gc。minor gc相当频繁,平时1秒1次,并发量上去之后每秒4,5次。我将栈空间设置为8G,新生代设置为5G,平时大概4,5秒一次,估计并发量上去之后还是会达到1秒1次。当然有的机器会少些。因为我们公司用的是SLB的7层负载均衡,采取的是轮询策略,负载不是很均匀。我现在在试图从根本上解决问题,找到minor gc频繁的原因,最终要将minor gc口平时控制在12秒一次以上。12秒这个数据是怎么来的呢。

Redis各种数据结构性能数据对比和性能优化实践

看我标出来的这两个差值,大体新生代的垃圾回收时间是18ms。如果12m一次,就是12000ms中垃圾回收时间占18m,千分之1.5的时间用于垃圾回收,这个比率对于整体性能的影响就没那么大了。当然各个数组会随调整变化,到时候要看情况。

  之前我也参与过这个媒资接口的性能优化,一直没有成效是因为第一我对媒资接口不熟,我也不是最主要的负责人,很多事情做不了主。其实,一般解决这个问题的方式是横向扩展,其实我们有很多空余设备,德伟不肯试试,我也没办法。另外,媒资接口虽然是我们这边最重要的接口了,但是我总会被临时调到一些更紧急的项目中去,东一点西一点的。虽说觉得自己是个SMP(对称多核处理器),但是内核上下文切换也得保存现场吧,开销很大,做不深入,时间片又到了。这都是自己当初没有想好,没有自己的负责区域,所以会被来回调。所以现在就做两件事情。如今设备复用先不考虑了,先从根本上改善程序。

Redis各种数据结构性能数据对比和性能优化实践

我做了一晚上的测试,凌晨4点才睡。得出来一个结论:我们的定时加载本地缓存对性能有影响。第二天我在地铁上就发消息到群里说找到性能上不去的根了。第二天我们开会讨论了,大家最后的决定是我的想法可以试一试。但是从统计图表上看,内存,CPU,499和响应时间关联不大。我说我们系统目前的现状也不会是一个原因造成的,定时加载本地缓存确实和内存定期的峰值很匹配,确实是问题。既然是问题,就要一点点解决。先抛开问题不谈,发现自己的另一个问题:话说的太直,太满。

  之前发生了一件事,我好好反省了一下,很多方面。

  有次照例中午和部门里一个小姑娘吃饭。她让我给她提提建议,怎样能去阿里。她说你看我人还挺可爱的,能不能靠点别的去阿里。我人实在是太直了,我就向她阐述了确实如果实力不够是去不了的。越聊到最后发现她并不是在问我的意见,只是想让我带她去阿里。我发现这个还是按照自己的思路说下去。结果人家小姑娘气的一下午没搭理我。确实我话说的太直太满,是我要解决的问题。也确实我认为只有实力到了才能去也只是我的想法,人家有人家的方法,只是我不知道,而且不愿意用而已。我总认为达到一个目标过程更重要,其实哪是人人都这么想的。思维不够开放。我经常给别的公司推荐人才,如果觉得这个人实力不够,我都不会给推。这倒没有错,但是对别人应该有更多的鼓励,遇到委婉的人说话要更委婉一点。

  这个小姑娘聊天中提到你看我虽然有些问题自己解决不了,但是我可以找别人解决啊,最终问题都解决了。她是觉得自己是可以干活的,那么去阿里是没问题的。其实据我了解,阿里不招这种要不要无所谓的。虽然我也没进阿里,我是这么想的。这个小姑娘虽然没去阿里,但是去的公司也都可以。但把这个归因于自己很可爱,很招人喜欢我有点不赞同。物有本末,事有始终。反思一下我自己,记得11年,换工作形式一片大好的时候,我虽然没有换工作,确实出去面过试。面试其实问题回答的都不是很好,但是都给了offer。其中面了华为的,面试官说咱俩一个学校的,咱们东大的人基础不应该这么差啊。结果什么都不会,还是要我了。究其原因,要我是因为学校比较好,然后去的公司都比较好,人不笨,觉得还是有培养价值的,反正成本也不是很高。和可不可爱关系不是很大,额,我说话是不是又太直了。其实我当初如果遇到了更多的挫折,现在技术能力应该好不少。所以现在我很珍惜遇到的问题,时间许可的范围内,解决不好过程,不去追求结果。特别是做技术的,长远稳定性,前瞻性,很重要。还有一点,女孩子其实在技术工作中面对的劣势远远大于优势,我自然也遇到过,但是我自己不太清楚是哪些。因为这个劣势体现在根本不会给我面试的机会。能让我面试的,我相信面试的过程还是很公平公正的。至少我经历过的过与不过都有理有据。

  我声称自己是个技术吃货,也就是这半年的事情。之前,一直是个技术二货。上家公司在五道口清华科技园,是朋友在那边,把我挖过去的。去的时候我就很明确的说因为这边不是很忙,我家孩子小,我要先照顾好家。分清当前事情的主次是必要的。可是记得那时候每天11点就去吃饭了,吃完饭还要去买个肯德基套餐带着去旁边清华大学,到下午3点再回去上班。很多该做的没做,该学的没学。当初的时间利用起来,现在不至于这么时不时不由自主的来一句:I am so stupid. 发现身边很多做技术的女孩子,包括自己在内,对技术现状,对各大公司的形势,各个方面摄取的信息太少。不知者无畏,反而会比较自大。前段时间自己也是很浮躁,其实技术基础都不是很扎实。我有个学弟,工作三年的时候就出去创业做CTO了。旁边也有很多人很年轻有为的,很早就不做技术了,直接转管理。我原来在想:我和他们走的路都不一样。我要尽量更多的时间活跃在底层一线,因为想要工作到60岁。提升的过早,以后会越早达到瓶颈。想法很符合自身的情况,但是实际上努力不够。行远自迩,登高自卑。时刻保持危机感,强化学习意识。

    回到最初的问题。定时加载本地缓存。我试过,对这个服务来说,已加载在本地缓存的数据获取速度比远程(其实这里测试集中缓存和数据库速度差不多)快几十倍,而且很稳定。但是最初加载的时候,我们设定启动后50秒暴露服务,也还是不能保证加载完,会导致服务重启发生短暂的连接池溢出。而且我感觉我们的dubbo连接池设置了700,太大了,反而导致响应慢。开会讨论将缓存全量更新时间由本来的一小时或者半小时设置为12小时试试结果。结果由于发生了一些非技术原因现在正式环境还没有试,测试环境没有对比。但是开头介绍的redis缓存完全可以派上用场。在key值1000个以下的小本地缓存可以第一次加载的时候从redis缓存里取,redis缓存由单独的后台服务控制更新,记录最后更新时间。其实更新服务我放到离线服务里了。如果最后更新时间发生变化才会再次取最新数据。我观察了一个星期,字典值,TV值,字典配置值一个星期就没变过。耗费那么大的性能去更新,好心疼。然后20几万占100M多栈内存的明星数据,定时全量和增量执行更新,启动都需要几十秒做这个事情,当初写这个代码的哥哥,你写的时候真的测试过这么做可以提高性能吗[汗]

epiphany框架改进

  既然我要写文,就不得不提一下我的开源框架进展。这是一个离线数据推送的框架,支持全量,增量和手动发送。几个部分可分开和整合部署。用户可以灵活的选取全部部署,或者部分部署。或者在需要的情况下进行升级,降级处理。目前最新版本的改进是支持全量模式耗时长的数据优先运行的策略,以达到总体数据各个线程间耗时平均。当然用户可以自己决定是否使用此策略。在全量增量同时运行的情况下,支持both模式和yield模式。both模式即运行全量的情况下也运行增量,yield模式即全量运行时增量暂停,待全量运行完接暂停时间点继续运行。详情请参阅我的github代码:https://github.com/xiexiaojing/epiphany

  我在写框架的时候,必定用到很多测试和性能监控的东西。其中JVM我打开了很多参数,发出来供大家参考,红框标出的是一些监控,测试时可以打开。

Redis各种数据结构性能数据对比和性能优化实践

  程序在跑,今晚够呛能睡觉。

生活点滴

  前段时间坐公交车,上来一个2岁左右的小朋友,上车一会儿后开始哭,声音特别大。我犹豫了一下,翻翻包,找到之前包上掉下的一个装饰,因为还挺好看的,我顺手就装包里了。我拿到小朋友的面前,让他猜猜这个饰品的两面是不是一样的。他不哭了,也不回答,愣愣的看着我。我就把饰品递到他手上,回到自己的位子。小朋友没有再哭。下车之后,小朋友在车窗那边跟我打了好几个飞吻,这招我儿子就不会。当初犹豫了一会儿是在想万一哄了还哭,一车人看着我多尴尬。但是想想别把自己当回事,大家谁有闲心看我。事实证明我错了,我看到全车人都在看我。但是想做什么就去做吧,做了就不后悔了。

男神说我长的难看

  全世界我就认识一个当面说我长的难看的,就是我家男神。觉得我应该跟他离婚。不过想想就他嫌我难看,我当初还非要嫁他,看来我俩眼神儿都不咋地,不是一家人不进一家门,还是将就过吧。

  看看人家都怎么评价我的:

Redis各种数据结构性能数据对比和性能优化实践

再看我家男神:

Redis各种数据结构性能数据对比和性能优化实践

我和男神这几年来就吵过一次架,就是他说我长的难看。我生气了,他看我生气他也生气了。摔了好几瓶红酒然后摔出门去回北京了。两个小时后他打电话回来说快到公司出差给租的房子那里了,让我别被玻璃碎片扎到。又过半小时打电话回来说已经开始往回返了。好吧,第二天他又2个多小时回到租的房子附近上班。然后我上班中午吃饭时跟女同事说我家男神说我长的难看。女同事是这么安慰我的:你就跟他说我长的好看还跟你啊,你长的好看啊。我在想在别的情况下我是不是该跟我女同事翻脸,竟敢说我家男神不好看。但是人家是好心,我也就只能低头喝粥。粥好凉好凉,心拔拔凉。

一家人相处

  我们家相处大家很*。比如说我要是这段时间注重打扮,男神就会向我指出我哪里穿的不好看。如果我这段时间头也不梳,那就这样吧,也没人管,也没人说。我对我家男神也是,他喜欢干什么工作就什么工作,他说他想早退休我觉得也很正常。我也就默默的想想怎么解决他退休金不够花的问题。我和婆婆关系相处的特别好。首先一点,我婆婆家楼房是我们有孩子了,但是自己还没买房子的时候先给他们买的。我家嫁女儿没要人家一分钱还倒赔了嫁妆。我家两套房子首付是我出的,贷款我还更多的那套。我也不傻,之所以这么做,老人都穷过,比较看重物质。所以我付出这么多,我心里是平衡的,老人也不会对儿媳太挑剔了。然后婆婆做饭我也从来不挑,好吃就多吃点不好吃就少吃点。孩子大了,婆婆平时没事儿喜欢捡瓶子卖钱,我也没意见,各人有各人的想法,开心就好。但是我自己喝的矿泉水瓶子都会拿回家。这是一种尊重。然后婆婆留长发,她用的扎头绳总是松,所以我要是出门,必然给婆婆买个素色头绳。谢天谢地,现在的东西都是看着好看不耐用,否则我就少了一个表现的机会。

Redis各种数据结构性能数据对比和性能优化实践的更多相关文章

  1. 百万级高并发mongodb集群性能数十倍提升优化实践

    背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量,读流量很低),峰值tps几乎已经到达集群上限,同时平均时延也超过100ms,随着读写流量的进一步增加,时延抖动严重影响业务可用性.该集群采 ...

  2. 磁盘IO性能优化-实践

    RAID卡缓存策略调整 原因详解 操作实例 I/O 调度算法 文件系统journal 磁盘挂载参数 操作实例 性能数据对比 RAID卡缓存策略调整 可以将RAID卡缓存策略由No Write Cach ...

  3. 海量数据和高并发下的 Redis 业务优化实践

    本文内容是我在 6 月 23 日参加的深圳 GIAC 技术大会上演讲的文字稿. 观众朋友们,我是来自掌阅的工程师钱文品,掘金小册<Redis 深度历险>的作者.今天我带来的是分享主题是:R ...

  4. mod&lowbar;php和mod&lowbar;fastcgi和php-fpm的介绍,对比和性能数据

    1.php中fastcgi和php-fpm是什么东西 最近在研究和学习php的性能方面的知识,看到了factcgi以及php-fpm,发现我对他们是少之又少的理解,可以说几乎是一无所知,想想还是蛮可怕 ...

  5. Redis 宝典 &vert; 基础、高级特性与性能调优

    转载:Redis 宝典 | 基础.高级特性与性能调优 本文由 DevOpsDays 本文由简书作者kelgon供稿,高效运维社区致力于陪伴您的职业生涯,与您一起愉快的成长.     作者:kelgon ...

  6. 通过ngx-lua来统计Nginx上的虚拟主机性能数据

    Web server调研分析 Filed under: Web Server — cmpan @ 2012-10-29 20:38:34 摘要 简单可依赖的架构首先需要有一个简单可依赖的前端WebSe ...

  7. Redis基础用法、高级特性与性能调优以及缓存穿透等分析

     一.Redis介绍 Redis是一个开源的,基于内存的结构化数据存储媒介,可以作为数据库.缓存服务或消息服务使用.Redis支持多种数据结构,包括字符串.哈希表.链表.集合.有序集合.位图.Hype ...

  8. JS几种数组遍历方式以及性能分析对比

    前言 这一篇与上一篇 JS几种变量交换方式以及性能分析对比 属于同一个系列,本文继续分析JS中几种常用的数组遍历方式以及各自的性能对比 起由 在上一次分析了JS几种常用变量交换方式以及各自性能后,觉得 ...

  9. &lbrack;大牛翻译系列&rsqb;Hadoop(14)MapReduce 性能调优:减小数据倾斜的性能损失

    6.4.4 减小数据倾斜的性能损失 数据倾斜是数据中的常见情况.数据中不可避免地会出现离群值(outlier),并导致数据倾斜.这些离群值会显著地拖慢MapReduce的执行.常见的数据倾斜有以下几类 ...

随机推荐

  1. NSClassFromString 和 遍历UIView获取她所在的UIViewController的tips

    一.NSClassFromString是NSObjCRuntime.h的方法 FOUNDATION_EXPORT Class __nullable NSClassFromString(NSString ...

  2. iOS开发——网络编程Swift篇&amp&semi;(六)异步Post方式

    异步Post方式 // MARK: - 异步Post方式 func asynchronousPost() { //创建NSURL对象 var url:NSURL! = NSURL(string: &q ...

  3. 前端跨域之html5 XMLHttpRequest Level2

    前端代码 var xhr=new XMLHttpRequest(); xhr.open('POST','http://127.0.0.1:8081/ceshi',true); xhr.onreadys ...

  4. RxJava(五) onErrorResumeNext操作符实现app与服务器间token机制

    欢迎转载,转载请标明出处: http://blog.csdn.net/johnny901114/article/details/51533586 本文出自:[余志强的博客] 一.需求场景: 在开发Ap ...

  5. Spark学习笔记

    Map-Reduce 我认为上图代表着MapReduce不仅仅包括Map和Reduce两个步骤这么简单,还有两个隐含步骤没有明确,全部步骤包括:切片.转换.聚合.叠加,按照实际的运算场景上述步骤可以简 ...

  6. Java并发之Condition

    在使用Lock之前,我们使用的最多的同步方式应该是synchronized关键字来实现同步方式了.配合Object的wait().notify()系列方法可以实现等待/通知模式.Condition接口 ...

  7. 安装Twisted

    Python看到网络编程,讲到Twisted这个强大的网络框架,很有兴趣,配合 官方文档,打算研究一哈,但是一开始就碰壁了. 安装的时候 pip install Twisted报错了: 提示没有装什么 ...

  8. opencv学习之路(21)、模板匹配及应用

    一.模板匹配概念 二.单模板匹配 #include "opencv2/opencv.hpp" #include <iostream> using namespace s ...

  9. Count the Sheep 思维题

    Altough Skipping the class is happy, the new term still can drive luras anxious which is of course b ...

  10. Macos mysql 8&period;0&period;11 添加配置文件

    mac 安装mysql 后,没有配置文件,如果需要添加配置文件,需要在/etc 目录下面添加 my.cnf 文件. 添加方法 打开文件命令:sudo vi  /etc/my.cnf 文件添加内容: [ ...