zw·10倍速大数据与全内存计算
zw全内存10倍速计算blog,早就在博客园机器视觉栏目发过,大数据版的一直挂着,今天抽空补上。
在《零起点,python大数据与量化交易》目录中
我们已经介绍了多种:
大数据与Python十倍速性能优化
- 软加速:矢量优先
- 软加速:cpython
- SSD加速大法
- KBD全内存数据库
- Gpu终极加速方案
zw全内存10倍速计算,是根据实践,在工程中提出了一种全新的解决方法,ramdisk,采用内存虚拟盘。
目前,内存价格很低,8G基本是标配,笔者的推荐配置32G以上,最好是:e3 cpu+大容量 服务器主板,组建128-256G以上的全内存运算环境,
把整个系统,包括windows,python、pandas、项目软件,全部copy到ram里面,进行全内存计算。
HP目前正在研发的:the machine,据说就是完全放弃了外部磁盘。
ramdisk软件,目前有很多,常见的有amd、软媒内存盘,一般采用单文件的软媒内存盘。
64位系统,起点就是2G以上的数组(内存表talble),作为k-v表、index索引库而言,已经足够了,毕竟,很少有10G以上的K-V表,其他数据,放到硬盘、ssd都无所谓,毕竟90%瓶颈是在在k-v部分。
zw全内存10倍速计算,其实也是目前游戏工作室、网推工作室的首选配置方案。
1套E3-256G系统,1w左右,采用优化的骨头版xp(不到100M),可以挂50-100个vbox虚拟机,还可以优化。
单机,同时可以支持数十甚至上百网游、页游、安卓模拟器,多开挂机,
挂QQ,500-1000个,配合自动登录脚本,单机每天1w个左右。
大数据、量化交易,互联网企业,金融公司,e3-256G,略微低端了些,建议直接上e5、e7系列,内存越大越好
对于部分重口味的用户,例如“双11”爆仺,可以采取数据库拆分,或者老毛子式的:简单、粗暴的风格,
直接使用最快的ddr4/ddr5内存,并扩充到512G甚至1T以上,
这个虽然贵点,不过对于互联网企业、金融机构无所谓,而且,再贵,也比IBM的小型机便宜十倍。
zw全内存10倍速计算,虽然看起来保持了TG的土鳖风格,不过非常实用,
特别是对于中小企业、IT工作室,几乎是零成本,就可以提速5-10倍。
而且没有任何二次开发、移植成本,无需GPU、cuda编程。