在C#应用程序中，利用表值参数过滤重复，批量向数据库导入数据，并且返回重复数据

时间：2022-01-18 17:36:54

　　在很多情况下，应用程序都需要实现excel数据导入功能，数据如果只有几十条，或上百条，甚至上千条，速度还好。

　　但是不仅如此，如果客户提供给你的excel本身存在着重复数据，或是excel中的某些数据已经在数据库存在，那这时，在向数据库插入数据前你还得判重，如果不存在才进行导入

通常，我们第一步就会通过上传的方式把excel中的数据读到内存，然后通过循环的方式得出一条一条数据，接着对于每条数据用关键字段去往数据库中进行一次查重，若存在则不做事情，若

不存在则向数据库中插入一条数据。这样一来，我们每一条数据都会与数据库打两次交道，众所周知，每连接一次数据库那是需要时间的，次数一多相当影响性能。若是成千上万条数据的话，可

想而知，这个导入过程会有多慢，尤其是Web应用程序，很有可能在我的请求还没执行完，突然程序就被终止了。

当然，还有个办法，就是拼SQL，每循环一条数据，首先判断，若不重复，我写一条SQL语句保存在某个变量中，直到循环到最后一条，可能会拼出多条Insert语句，最后送到数据库一次执

行，但是大家有没有想过，一旦数据量过大，几万，或几十万条数据拼成的字符串可想而知会有多长，送到数据库就会有被截断的可能。更何况还是逃离不了每次都要查询重复的惨况。

　　一般来说，SQL语句离数据库端越近，执行效率越高，有没有可能，我把所要插入的数据集合一次性送给数据库，让判断重复，插入，返回重复数据的工作统统由数据库来执行呢？这样我只

要与数据库打一次交道，等待数据库给我结果就行。那么接下来就是我要讲到的利用表值参数来完成这一功能。

　　由于为了讲述，例子中的表都比较简单

　　1.首先我们来创建一张表(建库的过程在这里我就不说明了，为了大家看得清晰，尽量去除了无关的脚本行)

 CREATE TABLE [dbo].[BulkTestTable](

     [Id] [int] NOT NULL,

     [UserName] [nvarchar](32) NULL,

     [Pwd] [varchar](16) NULL,

 PRIMARY KEY CLUSTERED

 (

     [Id] ASC

 )WITH (PAD_INDEX  = OFF, STATISTICS_NORECOMPUTE  = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS  = ON, ALLOW_PAGE_LOCKS  = ON) ON [PRIMARY]

 ) ON [PRIMARY]

 GO

2.创建表值类型

 USE [BulkTestDB]

 GO

 /****** Object:  UserDefinedTableType [dbo].[BulkTestTableType]    Script Date: 07/08/2015 16:04:38 ******/

 CREATE TYPE [dbo].[BulkTestTableType] AS TABLE(

     [Id] [int] NULL,

     [UserName] [nvarchar](32) NULL,

     [Pwd] [varchar](16) NULL

 )

 GO

3.写批量插入的存储过程

 CREATE procedure [dbo].[usp_BulkTestTable_Import] 
 (@paratable as BulkTestTableType readonly) --此处的BulkTestTableType就是上面所定义的表类型，实际不用对它进行操作，只需要在程序中传入一个表给它，然后从它里面进行读取

 AS 
 Insert INTO dbo.BulkTestTable(Id,UserName,Pwd) 
 select * from @paratable A 
 WHERE Not EXISTS(select B.Id from BulkTestTable B WHERE B.Id=A.Id)

7 SELECT * from @paratable A WHERE EXISTS (select B.Id from BulkTestTable B WHERE B.Id=A.Id) --查询出重复的记录
 GO

在这里，我的Id不是自动增长的，仅仅是主键而已，所以这里通过Id来判断记录是否唯一或重复

接下来在C#代码里面写一个导入方法，调用这个存储过程。

这里的参数dt就是我们导入excel时生成的DataTable,这个DataTable的表结构也就是列要与我们定义的表值“BulkTestTableType”结构相同，返回值就是我们所要的重复记录
  public static DataSet BatchInsert(DataTable dt)

     {

         SqlParameter parameter = new SqlParameter("@paratable",dt);

         parameter.SqlDbType = SqlDbType.Structured;

         parameter.TypeName = "BulkTestTableType"; //这里的类型名称应与我们定义的表值名称相同

 SqlParameter[] sqlParameters = new SqlParameter[] { parameter }; 

return SqlHelper.RunProcedure(CommandType.StoredProcedure, "usp_BulkTestTable_Import", sqlParameters); 
 }

以上就是完整的代码，当然，怎么在内存中创建表，怎么写数据库访问方法我这里就不说明了，大家都知道。小白写文章，大家共同交流，勿喷

相关文章