Oracle快速导入数据工具

时间:2024-08-09 16:35:56

sqlldr是oracle自带的快速导入批量数据的工具,常用于性能测试。考虑手工构造控制文件较为繁琐,因此使用脚本完成批量数据的自动导入。

基本知识

sqlldr命令语法

sqlldr dbname/dbpassword@oracle_sid control=control.ctl log=sqlldr.log bad=sqlldr.bad

选项介绍

、control 控制文件:包含导入数据和表的信息
、log 日志文件:导入过程中的日志记录
、bad 失败文件:导入失败的数据记录
、rows 每次提交记录数
、bindsize 每次提交记录的缓冲区大小
、direct 使用直接路径导入,默认为false
、parallel 并行导入

控制文件格式

load data infile 'datafile' append into table tablename fields terminated by '|'
(
col1,
col2
)

设计思路

核心是创建sqlldr导入使用的控制文件

1、从USER_TAB_COLUMNS表中获取输入的欲导入数据标的表结构属性(列名和类型);

2、对DATE和TIMESTAMP类型进行转换,完成sqlldr要求的控制文件格式。

3、调用sqlldr命令执行自动导入数据。

脚本使用

1、下载代码:loadOradata.sh,上传到oracle用户任意目录下。

2、登录oracle用户,执行chmod +x loadOradata.sh赋可执行权限。

3、执行./loadOradata.sh 数据库名/数据库密码 待导入的表名 构造生成的数据文件

说明:建议在导入数据前先备份并清理待导入的表。原因是sqlldr命令的direct=True,,可能会由于存在重复数据导致索引失效。