求教下大神,上百万行的excel数据,用什么语句快速导入sql2008?

上百万行的excel数据,几乎100m大小了
有什么语句能最快速导入sql2008里面吗？比如200w行，最快能多快？
源文件是 csv格式的 两列 上百万行
每天需要导入这么多数据的话，会不会数据库太大，后期查询困难？
可以成功导入sql2000的语句，2008就不行了
如果sql2012这样的会不会查询更快？
拜谢

21 个解决方案

#1

"上百万行的excel数据", 应该不是人工输入得来的吧? 为何不直接写进数据库?

#2

报告版主,无法直接写入，到手的就是这样
假设有200w行
A,B两列
http://bbs.csdn.net/topics/340023465?locationNum=4&fps=1 

http://bbs.csdn.net/topics/390624658?locationNum=13&fps=1 

http://bbs.csdn.net/topics/390610501?locationNum=8&fps=1 

搜了这几个贴，不知道能不能成功

#3

引用 楼主 u011293682 的回复:

上百万行的excel数据,几乎100m大小了
有什么语句能最快速导入sql2008里面吗？比如200w行，最快能多快？
源文件是 csv格式的 两列 上百万行
每天需要导入这么多数据的话，会不会数据库太大，后期查询困难？
可以成功导入sql2000的语句，2008就不行了
如果sql2012这样的会不会查询更快？
拜谢

望版主赐教了。

#4

引用 1 楼 ap0405140 的回复:

"上百万行的excel数据", 应该不是人工输入得来的吧? 为何不直接写进数据库?

望版主赐教

#5

两列csv，使用bcp导入。

#6

引用 5 楼 wmxcn2000 的回复:

两列csv，使用bcp导入。

bcp,bulk insert,ssis
是不是有这三种途径？最快的是bcp吗？
我是准备最快速度导入临时表，建立索引，然后再查询分析，最后再存到数据库里面

#7

引用 1 楼 ap0405140 的回复:

"上百万行的excel数据", 应该不是人工输入得来的吧? 为何不直接写进数据库?

报告版主,无法直接写入，到手的就是这样
假设有200w行
A,B两列

#8

引用 6 楼 u011293682 的回复:

Quote: 引用 5 楼 wmxcn2000 的回复:

两列csv，使用bcp导入。

bcp,bulk insert,ssis
是不是有这三种途径？最快的是bcp吗？
我是准备最快速度导入临时表，建立索引，然后再查询分析，最后再存到数据库里面

直接用bcp导入就是了，如果需要对数据汇总分析再导入，就按你说的先bcp到临时表，分析后再插入正式表

#9

  上百万你导入临时表加索引页也是时间消耗
  直接通过文件导入应该是最快了

#10

直接通过BCP或者bulk insert 来处理。如果懒的话直接通过界面的数据库导入数据功能来操作，不过客户端有可能卡死

#11

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

#12

引用 11 楼 ap0405140 的回复:

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

不能的，只能如此，靠自己折腾...
因为导入只是第一步，后面查询，筛选才是关键

sql2000里，我试了可以成功导入，不过有点慢，要几分钟
升级到2008，一直不行，就是打不开csv
不知道哪里问题了。。。

#13

引用 12 楼 u011293682 的回复:

Quote: 引用 11 楼 ap0405140 的回复:

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

不能的，只能如此，靠自己折腾...
因为导入只是第一步，后面查询，筛选才是关键

sql2000里，我试了可以成功导入，不过有点慢，要几分钟
升级到2008，一直不行，就是打不开csv
不知道哪里问题了。。。

我也经常往数据库导数据，最多一次，导入了100万以上吧，速度其实还可以，并不是太慢啊。CSV导入有个很恶心的地方，就是需要对一些列的数据类型进行转换，否则就会报错。但是用excel就没有问题，而且速度比csv更快，建议尝试用excel导入，可以多分几个sheet，把数据分开放置

#14

引用 13 楼 chfyljt 的回复:

Quote: 引用 12 楼 u011293682 的回复:

Quote: 引用 11 楼 ap0405140 的回复:

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

不能的，只能如此，靠自己折腾...
因为导入只是第一步，后面查询，筛选才是关键

sql2000里，我试了可以成功导入，不过有点慢，要几分钟
升级到2008，一直不行，就是打不开csv
不知道哪里问题了。。。

我也经常往数据库导数据，最多一次，导入了100万以上吧，速度其实还可以，并不是太慢啊。CSV导入有个很恶心的地方，就是需要对一些列的数据类型进行转换，否则就会报错。但是用excel就没有问题，而且速度比csv更快，建议尝试用excel导入，可以多分几个sheet，把数据分开放置

建议尝试用excel导入
意思是先把csv格式直接改成xlsx这样的excel格式，再进行导入操作？

#15

引用 14 楼 u011293682 的回复:

Quote: 引用 13 楼 chfyljt 的回复:

Quote: 引用 12 楼 u011293682 的回复:

Quote: 引用 11 楼 ap0405140 的回复:

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

不能的，只能如此，靠自己折腾...
因为导入只是第一步，后面查询，筛选才是关键

sql2000里，我试了可以成功导入，不过有点慢，要几分钟
升级到2008，一直不行，就是打不开csv
不知道哪里问题了。。。

我也经常往数据库导数据，最多一次，导入了100万以上吧，速度其实还可以，并不是太慢啊。CSV导入有个很恶心的地方，就是需要对一些列的数据类型进行转换，否则就会报错。但是用excel就没有问题，而且速度比csv更快，建议尝试用excel导入，可以多分几个sheet，把数据分开放置

建议尝试用excel导入
意思是先把csv格式直接改成xlsx这样的excel格式，再进行导入操作？

先改格式，得打开csv，再另存，这又得半天，速度太慢

#16

如果每天都需要导入数据, 建议编程读取文件内容, 分批导入.

#17

引用 14 楼 u011293682 的回复:

Quote: 引用 13 楼 chfyljt 的回复:

Quote: 引用 12 楼 u011293682 的回复:

Quote: 引用 11 楼 ap0405140 的回复:

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

不能的，只能如此，靠自己折腾...
因为导入只是第一步，后面查询，筛选才是关键

sql2000里，我试了可以成功导入，不过有点慢，要几分钟
升级到2008，一直不行，就是打不开csv
不知道哪里问题了。。。

我也经常往数据库导数据，最多一次，导入了100万以上吧，速度其实还可以，并不是太慢啊。CSV导入有个很恶心的地方，就是需要对一些列的数据类型进行转换，否则就会报错。但是用excel就没有问题，而且速度比csv更快，建议尝试用excel导入，可以多分几个sheet，把数据分开放置

建议尝试用excel导入
意思是先把csv格式直接改成xlsx这样的excel格式，再进行导入操作？

给的是csv，直接用csv也可以，反正你就两列，不像我这个，30多列。
打不csv，这个我从来没遇到过，sql08导入csv应该是最下面那个选项，“平面文件源”即可


如果你打不开，我觉得问题是否出在sql2000升级sql2008这个上面呢？实在不行，重新下载个2008，再试试

#18

引用 17 楼 chfyljt 的回复:

Quote: 引用 14 楼 u011293682 的回复:

Quote: 引用 13 楼 chfyljt 的回复:

Quote: 引用 12 楼 u011293682 的回复:

Quote: 引用 11 楼 ap0405140 的回复:

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

不能的，只能如此，靠自己折腾...
因为导入只是第一步，后面查询，筛选才是关键

sql2000里，我试了可以成功导入，不过有点慢，要几分钟
升级到2008，一直不行，就是打不开csv
不知道哪里问题了。。。

我也经常往数据库导数据，最多一次，导入了100万以上吧，速度其实还可以，并不是太慢啊。CSV导入有个很恶心的地方，就是需要对一些列的数据类型进行转换，否则就会报错。但是用excel就没有问题，而且速度比csv更快，建议尝试用excel导入，可以多分几个sheet，把数据分开放置

建议尝试用excel导入
意思是先把csv格式直接改成xlsx这样的excel格式，再进行导入操作？

给的是csv，直接用csv也可以，反正你就两列，不像我这个，30多列。
打不csv，这个我从来没遇到过，sql08导入csv应该是最下面那个选项，“平面文件源”即可


如果你打不开，我觉得问题是否出在sql2000升级sql2008这个上面呢？实在不行，重新下载个2008，再试试

请教下，单从导入和查询csv来说，sql2000和sql2008都是关系型数据库，实际上导入时间是不是不会差别很大？同样的硬件配置,和同样的sql索引，查询语句环境下。
如果差别不是很大，我就不折腾了，继续用sql2000了。
无非就是系统只能还是用win7了，新的电脑出来有些只支持win10。
sql2000又不能完美安装在win10里面。。。

#19

引用 16 楼 ap0405140 的回复:

如果每天都需要导入数据, 建议编程读取文件内容, 分批导入.

请教下，单从导入和查询csv来说，sql2000和sql2008都是关系型数据库，实际上导入时间是不是不会差别很大？同样的硬件配置,和同样的sql索引，查询语句环境下。
如果差别不是很大，我就不折腾了，继续用sql2000了。
无非就是系统只能还是用win7了，新的电脑出来有些只支持win10。
sql2000又不能完美安装在win10里面。。。

#20

引用 5 楼 wmxcn2000 的回复:

两列csv，使用bcp导入。

请教下，单从导入和查询csv来说，sql2000和sql2008都是关系型数据库，实际上导入时间是不是不会差别很大？同样的硬件配置,和同样的sql索引，查询语句环境下。
如果差别不是很大，我就不折腾了，继续用sql2000了。
无非就是系统只能还是用win7了，新的电脑出来有些只支持win10。
sql2000又不能完美安装在win10里面。。。

#21

引用 18 楼 u011293682 的回复:

Quote: 引用 17 楼 chfyljt 的回复:

Quote: 引用 14 楼 u011293682 的回复:

Quote: 引用 13 楼 chfyljt 的回复:

Quote: 引用 12 楼 u011293682 的回复:

Quote: 引用 11 楼 ap0405140 的回复:

"上百万行的excel数据,几乎100m大小了"
"每天需要导入这么多数据"
--> 基于这2点, 百万行的数据几乎不可能是人工输入得来的,应该是从数据库导出的.
建议找数据提供方, 看能否数据库互连, 直接写进数据库.

不能的，只能如此，靠自己折腾...
因为导入只是第一步，后面查询，筛选才是关键

sql2000里，我试了可以成功导入，不过有点慢，要几分钟
升级到2008，一直不行，就是打不开csv
不知道哪里问题了。。。

我也经常往数据库导数据，最多一次，导入了100万以上吧，速度其实还可以，并不是太慢啊。CSV导入有个很恶心的地方，就是需要对一些列的数据类型进行转换，否则就会报错。但是用excel就没有问题，而且速度比csv更快，建议尝试用excel导入，可以多分几个sheet，把数据分开放置

建议尝试用excel导入
意思是先把csv格式直接改成xlsx这样的excel格式，再进行导入操作？

给的是csv，直接用csv也可以，反正你就两列，不像我这个，30多列。
打不csv，这个我从来没遇到过，sql08导入csv应该是最下面那个选项，“平面文件源”即可


如果你打不开，我觉得问题是否出在sql2000升级sql2008这个上面呢？实在不行，重新下载个2008，再试试

请教下，单从导入和查询csv来说，sql2000和sql2008都是关系型数据库，实际上导入时间是不是不会差别很大？同样的硬件配置,和同样的sql索引，查询语句环境下。
如果差别不是很大，我就不折腾了，继续用sql2000了。
无非就是系统只能还是用win7了，新的电脑出来有些只支持win10。
sql2000又不能完美安装在win10里面。。。

我没有用过sql2000，所以关于这两者的性能以及细微之处的差别，我不好评价，但是sql2008相较之前的版本，它的确是增加了不少新的功能，这也符合产品更新换代的规律，所以我只能说sql2008比sql2000而言，增加了许多新的功能，但其实，sql2008也已经过时了。