参考:
一 大的优化方向: 数据结构优化,慢查询优化,索引优化,mysql参数设置优化
数据结构优化:先读写分离、再垂直拆分、再水平拆分!
说3点
1. 设计合适的索引,基于主键的查找,上亿数据也是很快的;
2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;
3. buffer,尽量让内存大于数据.
至于优化若是指创建好的表,不能变动表结构的话,那建议InnoDB引擎,多利用点内存,减轻磁盘IO负载,因为IO往往是数据库服务器的瓶颈
来自:http://www.zhihu.com/question/19719997
我的问题:两个数据库,database A 和 B(be) ;每个都有两个表event和id
A
id表增长到不会超过1亿,然后会有频繁的更新.更新需要查找id值。这个亦可以分表。按照gid的不同,在程序中处理插入不同哦功能的表
每天生成一个新表,然后整体再插入总表??
event表一直累加,会超过1亿,需要自动切表
问题:1 数据库是否是瓶颈? 再开几个进程看数据库插入更新会不会有加速现象.多开程序的作用已经不大,很微小。所以瓶颈在数据库上了
2 瓶颈在哪里? insert时间花费0--100毫秒 ,update 100--1000ms
具体做法:
原来查看速度:
Com_insert 100
Com_update 30
以下测试再关闭程序debug日志的情况下进行
使用gprof分析程序得到 parsesql占23.5%,parseupdatesql15.5%,jsontomap占23.5,推测数据库执行占40%?
1 程序是瓶颈,开了6个进程
原来速度:
2013.09.26 。10:00 开了6个进程来跑。速度
第一次测试 第二次测试
Com_insert 489 342
Com_update 204 182
措施:加内寸,拆表
得到结论: 1 只写入event表,看会不会堵塞。不需要做这个实验,DBA自动切表就行,这样就很小。
2 数据库表很大的时候,主要考虑IO速度慢的问题,因为表太大,不能全部放进内存,所以需要硬盘IO,引起速度慢。
1 查看表大小,event表占35G,gid表占3G。
数据库设定的内存大小是10G,event是在太大了,导致频繁的磁盘IO。
A gid
TABLE_NAME | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |
+-------------+-------------+--------------------------+------------+
| Mapping_gid | 2980036608 | 3606970368 | 5162861 |
+-------------+-------------+--------------------------+-----------
event
+------------------------+-------------+--------------------------+------------+
| TABLE_NAME | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |
+------------------------+-------------+--------------------------+------------+
| Mapping_event_20130925 | 29944184832 | 33361494016 | 61712037 |
+------------------------+-------------+--------------------------+------------+
B gid
+-------------+-------------+--------------------------+------------+
| TABLE_NAME | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |
+-------------+-------------+--------------------------+------------+
| Mapping_gid | 2173698048 | 2702901248 | 4216890 |
+-------------+-------------+--------------------------+------------+
event
------------------------+-------------+--------------------------+------------+
| TABLE_NAME | DATA_LENGTH | DATA_LENGTH+INDEX_LENGTH | TABLE_ROWS |
+------------------------+-------------+--------------------------+------------+
| Mapping_event_20130925 | 6227492864 | 6919553024 | 15018002 |
对策:把event按每天备份 ; 这样每天的event表就很小。
结果:
第一次测试
Com_insert
Com_update 552
3 修改程序,原来程序insert不成功然后再update,改成insert into duplicate
可以解决的问题:1 多个进程写数据,id会跳跃性自增 2 两条变一条
各位,请教一个mysql问题。
说明:数据库id是主键,gid是唯一索引。insert into duplicate使用gid作为条件。
问题如下:
昨天我使用insert into duplicate 试验了很久、
我开了两个进程。都执行insert into duplicate语句。
进程A事实上只执行update,进程B 事实上只执行insert
单独开A时,id不变,单独开B,id是顺序增长同时开A,B,id跳跃性增长的。
可有什么解决方案推荐,使得id是顺序+1增长的?
解释: 只能说 insert
into duplicate 也使得id 自增了.但是如果后来执行的是update操作,撤销了.
可设置 innodb_autoinc_lock_mode = 0 使的获取自增id的锁方式为表锁,
但是此参数是全局的(即影响所有表,且需重启数据库生效),对于高并发写入的数据,会影响插入性能,不建议
如果使用insert into duplicate 只能解决两条变一条,不能解决id问题。
我具体做法:(1)开了多份程序,提高了数据库写入和更新的速度
(2) 加大内存
未填加内存前速度 -loginfo:
Com_insert Com_update
400 160
(3)修改字段
(4)拆表