sql server 内置ETL工具学习
常用的导入方式:bcp, BULK INSERT,OPENROWSET和 SSIS。
BCP
BCP全称BULK COPY PROGRAM
有以下特点:
- 命令行工具
- 导出为文本文件
在异构数据库之间迁移 数据时,这个一个比较通用的方法,因为基本上所有的数据库都支持文本文件。
导出一张表
导出数据文件
bcp AdventureWorks2012.HumanResources.Employee OUT d:\dump\Employee.txt -c"char" -t"|" -r\n -T
其中 -c
表示导出用的字符类型,默认为char-t
表示字段分隔符-r
表示换行符-T
表示使用本地操作系统认证
bcp AdventureWorks2012.HumanResources.Employee OUT d:\dump\Employee.txt -c"char" -t"|" -r"\n" -U"sa" -P"sql2015" -S"RJD08"
其中-U
表示用户名-P
表示密码-S
表示服务器名
导出数据格式
bcp AdventureWorks2012.HumanResources.Employee format nul -f d:\dump\Employee_format.fmt -t"|" -c -r"\n" -T
其中-f
表示导出的是format文件
数据导入
新建表结构
导入时需要新建目标表结构,使用select * into
创建方式。
use AdventureWorks2012
go
select * into HumanResources.Employee_temp
from HumanResources.Employee where 1=2;
select * from HumanResources.Employee_temp;
执行导入
使用bcp
命令: bcp …in
格式: -f format_file
BCP AdventureWorks2012.HumanResources.Employee_temp in d:\dump\Employee.txt -c -f d:\dump\Employee_format.fmt -T
BULK insert
可以在ssms中执行
DELETE HumanResources.Employee_temp
GO
SELECT COUNT(*) FROM HumanResources.Employee_temp
GO
BULK INSERT HumanResources.Employee_temp
FROM 'd:\dump\Employee.txt'
WITH (FORMATFILE = 'd:\dump\Employee_format.fmt');
GO
SELECT COUNT(*) FROM HumanResources.Employee_temp
GO
OPENROWSET 大容量行集提供程序
同样是在ssms中执行
DELETE HumanResources.Employee_temp
GO
SELECT COUNT(*) FROM HumanResources.Employee_temp
GO
INSERT INTO HumanResources.Employee_temp
SELECT *
FROM OPENROWSET(BULK 'd:\dump\Employee.txt',
FORMATFILE='d:\dump\Employee_format.fmt'
) as t1;
GO
SELECT COUNT(*) FROM HumanResources.Employee_temp
GO
其它
bcp也可以在ssms中执行,可以用以下命令实现。
-- To allow advanced options to be changed.
EXEC sp_configure 'show advanced options', 1
GO
-- To update the currently configured value for advanced options.
RECONFIGURE
GO
-- To enable the feature.
EXEC sp_configure 'xp_cmdshell', 1
GO
-- To update the currently configured value for this feature.
RECONFIGURE
GO