WinCE5.0中流式驱动能否加快对文件的读写定位数据指针的速度?
原本在要用程序中对一个二进制文件进行读写和查找数据,直接使用的是CreateFile(),SetFilePointer()和ReadFile()及WriteFile()函数;
该二进制文件中有200万条[每条13字节]的数据,以按照某种排序方法排序,通过二分法查询特定数据,发现查询数据比较慢了,
想通过把该读写和查询的功能创建成一个WinCE5.0的流式驱动,然后通过向外导出的XXX_Open(),XXX_Read()和XXX_Write()及XXX_Seek()函数来对二进制文件的读写查询,然后在要用程序中直接调用这导出函数,不知道对文件的读写和查询速度上是否有提高?
10 个解决方案
#1
提高速度,基本上是不现实的。
只能通过软件算法来实现,即然是有序的,就可以建立索引来加快查找的速度
只能通过软件算法来实现,即然是有序的,就可以建立索引来加快查找的速度
#2
“这个有序”,也并不是想从0每个递增1加到N,而是中间可能有断开的段,但是总体上是有序的;
还有这个而外的索引,有听说过,但是怎么创建和使用?举个例子咯
还有这个而外的索引,有听说过,但是怎么创建和使用?举个例子咯
#3
没有做过,关注
#4
1. SetFilePointer()本身是微软封装的文件驱动后seek定位函数,你不会比微软封装的效率更高吧!
2. 你的需求,建议使用嵌入式的sqlite数据库,是支持的wince的,查询效率应该比你的二分法还要高,以前做过测试,在10万条级别查询,好像是毫秒级,具体数字忘记,你试试
2. 你的需求,建议使用嵌入式的sqlite数据库,是支持的wince的,查询效率应该比你的二分法还要高,以前做过测试,在10万条级别查询,好像是毫秒级,具体数字忘记,你试试
#5
驱动怎么能就提高速度了?典型的对驱动盲目崇拜。你的问题瓶颈在算法,我建议你直接使用SQLCE,效率很高。
#6
SQLCE, SQLLite, Berkeley DB都可以用,比自己实现方便多了.
数据结构简单的话用 Berkeley DB,我试过百万级的数据查询,具体时间没有测算过,但是所用的时间应该是人所难以察觉的,因为已经很满足我的需求了,所以就没有测具体时间,估计不会超过100ms
另外使用内存映射文件比使用CreateFile SetFilePoint的效率会高一些.
数据结构简单的话用 Berkeley DB,我试过百万级的数据查询,具体时间没有测算过,但是所用的时间应该是人所难以察觉的,因为已经很满足我的需求了,所以就没有测具体时间,估计不会超过100ms
另外使用内存映射文件比使用CreateFile SetFilePoint的效率会高一些.
#7
这种东西不应该放到驱动里面做
可以考虑 filter或者更加上层的东西才合理
可以考虑 filter或者更加上层的东西才合理
#8
应该不能提高速度吧。
即使加上流式接口,最根本的处理也还是ReadFile等函数。再加上外面的一层嵌套,速度有可能还会慢一些。
我觉得还是根据你数据的格式特点,把搜索的算法修改一下可能会比较明显的效果。
即使加上流式接口,最根本的处理也还是ReadFile等函数。再加上外面的一层嵌套,速度有可能还会慢一些。
我觉得还是根据你数据的格式特点,把搜索的算法修改一下可能会比较明显的效果。
#9
好,谢谢大家的解疑
不过由于俺的水平有限和产品成本原因,这个项目以后要交给做Linux的同事去折腾咯...
不过由于俺的水平有限和产品成本原因,这个项目以后要交给做Linux的同事去折腾咯...
#10
呵呵,支持,在WinCE5.0中驱动和应用仅仅是最终的表现形式不一样。
你额外加一层驱动访问,还不如在应用程序中直接操作效率高。
#1
提高速度,基本上是不现实的。
只能通过软件算法来实现,即然是有序的,就可以建立索引来加快查找的速度
只能通过软件算法来实现,即然是有序的,就可以建立索引来加快查找的速度
#2
“这个有序”,也并不是想从0每个递增1加到N,而是中间可能有断开的段,但是总体上是有序的;
还有这个而外的索引,有听说过,但是怎么创建和使用?举个例子咯
还有这个而外的索引,有听说过,但是怎么创建和使用?举个例子咯
#3
没有做过,关注
#4
1. SetFilePointer()本身是微软封装的文件驱动后seek定位函数,你不会比微软封装的效率更高吧!
2. 你的需求,建议使用嵌入式的sqlite数据库,是支持的wince的,查询效率应该比你的二分法还要高,以前做过测试,在10万条级别查询,好像是毫秒级,具体数字忘记,你试试
2. 你的需求,建议使用嵌入式的sqlite数据库,是支持的wince的,查询效率应该比你的二分法还要高,以前做过测试,在10万条级别查询,好像是毫秒级,具体数字忘记,你试试
#5
驱动怎么能就提高速度了?典型的对驱动盲目崇拜。你的问题瓶颈在算法,我建议你直接使用SQLCE,效率很高。
#6
SQLCE, SQLLite, Berkeley DB都可以用,比自己实现方便多了.
数据结构简单的话用 Berkeley DB,我试过百万级的数据查询,具体时间没有测算过,但是所用的时间应该是人所难以察觉的,因为已经很满足我的需求了,所以就没有测具体时间,估计不会超过100ms
另外使用内存映射文件比使用CreateFile SetFilePoint的效率会高一些.
数据结构简单的话用 Berkeley DB,我试过百万级的数据查询,具体时间没有测算过,但是所用的时间应该是人所难以察觉的,因为已经很满足我的需求了,所以就没有测具体时间,估计不会超过100ms
另外使用内存映射文件比使用CreateFile SetFilePoint的效率会高一些.
#7
这种东西不应该放到驱动里面做
可以考虑 filter或者更加上层的东西才合理
可以考虑 filter或者更加上层的东西才合理
#8
应该不能提高速度吧。
即使加上流式接口,最根本的处理也还是ReadFile等函数。再加上外面的一层嵌套,速度有可能还会慢一些。
我觉得还是根据你数据的格式特点,把搜索的算法修改一下可能会比较明显的效果。
即使加上流式接口,最根本的处理也还是ReadFile等函数。再加上外面的一层嵌套,速度有可能还会慢一些。
我觉得还是根据你数据的格式特点,把搜索的算法修改一下可能会比较明显的效果。
#9
好,谢谢大家的解疑
不过由于俺的水平有限和产品成本原因,这个项目以后要交给做Linux的同事去折腾咯...
不过由于俺的水平有限和产品成本原因,这个项目以后要交给做Linux的同事去折腾咯...
#10
呵呵,支持,在WinCE5.0中驱动和应用仅仅是最终的表现形式不一样。
你额外加一层驱动访问,还不如在应用程序中直接操作效率高。