聊聊编程开发的数据库批量插入(sql)

时间:2021-04-17 19:53:18

这里的批量插入,主要是支持SQL的大型存储数据库,本文以Mysql,Oracle,SqlServer,postgresql4类来说明,这大概是国内应用比较多的了。其余的应该可以按照这些去找。提到编程的话,主要是指c#.当然我不是dba,是程序员,所以说的是编程开发的手段而不是dba的手段。也希望大家留言比较。

先说说我们常用的几种方法,我就不列举代码了。网上都有,大家可以自己试试。

1.事务

开启一个事务,将多条语句执行,然后提交。有的数据库限制sql个数1000.

2.多值插入语法

insert into table(字段) values(字段值),(字段值).

这种语法也是一种批量插入,经过数据库(驱动)的优化.

但是sqlserver是个特殊,它的语法是insert all

insert all into table (字段) values(字段值)

insert table  (字段) values(字段值)

insert table  (字段) values(字段值)

3.专门的批量处理类

一般数据库都有一个批量类处理,我查看了几个例子,都是把datatable直接写入了。

一般类名称中带有Bulk字样。也是优化过的

4.文件导入

很多数据库支持csv,就单独以csv格式文件为准吧。

数据库提供有自己的办法,就当前说的几类数据库都有。

oracle是特殊的,其它几种都是命令行,可以用执行SQL的方式执行。但是oracle是工具命令行,也就是专门的一个工具来支持(工具是sqlldr ),所以oracle需要完整的客户端支持,至少是包含sqlldr.exe的客户端。oracle使用编程操作时,需要用bat文件或者启动sqlldr.exe方式来操作。

5.参数化

直接SQL参数化,参数化时设置行数。参数值采用数组,但是每个字段的值素组长度必须一样,比如一次插入1000行,每个素组必须是1000长度。我知道oracle是支持的,其它数据库未知,所以要自己尝试,可能不通用。

只给大家提供一个思路,就不一一说明了。至于这几种的处理速度,我就没有发言的了,我没有测试。希望大家留言给我答案。

尤其是第5种方法,我长期使用oracle,其余几种没有,也不打算弄一堆数据库测试,靠大家努力吧。

基于编程开发处理,上面不管哪种方法,都是在自己的数据库访问层或者ORM框架中,就不多说了。可以留言。

如果还有其它批量处理的方式,或者大家对几种方式的速度有比较和测试,或者有其它数据库其它的处理方式,请留言,我们一起讨论研究下。

附录转换处理类

数据库 驱动 名称 说明
oracle

Oracle.DataAccess

OracleBulkCopy

 
mysql 默认 MySqlBulkLoader  
postgresql 默认 没有直接的类。数据库连接类中有一个方法BeginBinaryImport 网上有一个扩展bulk
sqlserver 默认 SqlBulkCopy  

附录文件导入

数据库 语句 驱动 说明
oracle sqlldr dbuser/dbpass@dbservice control=users.ctl 默认  
mysql LOAD DATA LOCAL INFILE '/var/lib/mysql/pet.txt' INTO TABLE tbl_pet 默认  
postgresql COPY mytable FROM '/myfile.csv'  WITH CSV  HEADER 默认  
sqlserver

BULK

  INSERT Employee

  FROM 'F:\\MyPublis\\TestToInsert.txt' --location with filename

  WITH

  (

  FIELDTERMINATOR = ',',

  ROWTERMINATOR = '\n'

  )

默认