sqlite3速度太慢的解决办法

      呵呵，我是自己没办法来求办法的。
      入正题，最近碰到一个项目，要用到内存数据库，然后对比之下选择了sqlite3，完成之后测试结果让我大失所望，速度太慢了，反复调试，发现慢就是慢在一个对比逻辑过程 ，该过程是来一条数据，然后和以前相同ID的数据对比，如果有，更新，没有，插入。这样一条执行下来，居然要0.015s，这个速度太是了，我完全接受了不，因为我的数据来得很快，1s内少说也有接近10000条数据来，所以来此请教各位，有没有什么好的办法分享一下
       
        不要说用事物，因为我的模式是来一条数据就有查询，更新，新增和删除的，这情况下事物不起什么作用的
       

    在线等，非常感谢!
 

18 个解决方案

#1

sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。

#2

引用 1 楼  的回复:

sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。

sqlite是可以建内存数据库的吧
你说的方法不行，因为来的每一条数据我都要判断一下，要不我都不知道这条数据到底是要插入还是更新的，所以不能批量

#3

引用 1 楼  的回复:

sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。

额，看漏了，你是说更新和新增分离，我想过，不过这样也不太理想，因为每交的标准，都是以最新一条数据为准，如果把数据先缓存，那样业务逻辑会出错

#4

这个判断动作可以在内存中做。

#5

引用 4 楼  的回复:

这个判断动作可以在内存中做。

就是在内存，我用的是sqlite内存模式，所有的操作都是在内存，但是结果还是太慢了

#6

你是select后再insert/update
还是直接replace into

如果不批量的操作，sqlite的插入操作速度是不算太快

#7

不知道用多个线程来做个如何？

#8

晕，你知不知道 SQLite 有 Replace into 这个语法?

#9

引用 6 楼  的回复:

你是select后再insert/update
还是直接replace into

如果不批量的操作，sqlite的插入操作速度是不算太快

是先select后再insert,replace into 这个我还不知道，这个速度能有多快呢

#10

引用 7 楼  的回复:

不知道用多个线程来做个如何？

线程也是一样的，因为是对同一个资源操作，用了线程就要加锁，加了锁其实时间 还是一样的

#11

引用 8 楼  的回复:

晕，你知不知道 SQLite 有 Replace into 这个语法?

确实不知道哈，现在研究一下

#12

 Replace into

#13

先做事务 在说

#14

考虑先把需要比较的数据放到内存或者文件，然后比较内存或者文件，插入的数据有需要比较的也放入内存或者文件，最好能排好序，这样就可以比较查询，二分法，很快。

#15

当然，插入肯定还是要用事物，把比较完了以后的insert语句集合起来，一起插入，这样就快多了。

#16

在不修改任何逻辑的情况下有一个办法可以帮助你提高性能，使用prepared statement 而不是使用简单的SQL语句执行。将statement 进行编译，保存编译后的statement, 每次来数据的时候通过sqlite3_bind_text16 来绑定参数构造一个完整的SQL命令。
SQLITE内部有一个虚拟机，在执行SQL语句时需要先编译成内部的命令码，这个编译过程还是很消耗时间的，所以尽量只编译一次，每次使用bind parameter的方式来执行。
参考API

sqlite3_prepare16_v2
sqlite3_bind_text
//其它prepare 和 bind 函数

#17

引用 12 楼 gongxujun 的回复:

 Replace into

++

引用 16 楼 Fire_Lord 的回复:

在不修改任何逻辑的情况下有一个办法可以帮助你提高性能，使用prepared statement 而不是使用简单的SQL语句执行。将statement 进行编译，保存编译后的statement, 每次来数据的时候通过sqlite3_bind_text16 来绑定参数构造一个完整的SQL命令。
SQLITE内部有一个虚拟机，在执行SQL语句时需要先编译成内部的命令码，这个编译过程还是很消耗时间的，所以尽量只编译一次，每次使用bind parameter的方式来执行。
参考API

sqlite3_prepare16_v2
sqlite3_bind_text
//其它prepare 和 bind 函数

++

#18

如果需要保存在内存中完全不需要sqlite,用xml保存数据(其它任何格式都可以), 程序启动时读一下, 根据你的需要放在map或list里就可以了