在做数据仓库时,最重要的就是ETL的开发,而在ETL开发中的第一步,就是要从原OLTP系统中抽取数据到过渡区中,再对这个过渡区中的数据进行转换,最后把经过处理的干净的数据加载到数据仓库中。
目标数据库是sql server,通过bcp命令行导入数据。bcp方式相对于其他方式来说,速度更快,是做了优化的。
以下为bcp命令行常用的参数,注意大小写:
-c 以char作为存储类型
-w 和-c类似,只有当使用unicode字符集拷贝数据时使用nchar作为存储类型
-T 用可信连接
-S sql server服务器名称
in 导入数据
out 导出数据
queryout 查询导出数据
-U 用户名
-P 密码
-F 从哪一行开始导入
-L 直到哪一行结束
-f 格式文件
-x 与-f一起使用,用来生产xml格式的格式文件
-t 指定字段分隔符是"\t"
-r 指定行分隔符是"\n"
1、开启即席查询
-
--修改高级参数
-
sp_configure 'show advanced options',1
-
go
-
--允许即席分布式查询
-
sp_configure 'Ad Hoc Distributed Queries',1
-
go
-
--如果配置的值不在合理范围(在最小值最大值范围内),那么可以强制覆盖
-
reconfigure with override
-
go
-
2、导出格式化文件
格式化文件用来指定表的格式,也就是几个字段,数据类型是什么,后面导入、导出数据会用到。
通过导出格式化选项,可以直接导出,不需要我们自己写。
用可信连接登陆:
-
-
bcp wc.dbo.calendar format nul -f c:\calendar.fmt
-
-c -T -S pc0227gry\mssqlserver2008
通过用户名、密码登陆:
-
bcp wc.dbo.calendar format nul -f c:\calendar.fmt
-
-c -Usa -Pxyz -S pc0227gry\mssqlserver2008
3、导出数据文件,可以把远程服务器的数据导出保存为本地的文件
-
bcp wc.dbo.calendar out c:\calendar.txt -f c:\calendar.fmt
-
-c -T -S PC0227GRY\MSSQLSERVER2008
4、导入数据
-
bcp wc.dbo.calendar in c:\calendar.txt -c -f c:\calendar.fmt
-
-Usa -Pxyz -S pc0227gry\mssqlserver2008