使用kettle导入csv、excel格式数据文件

时间:2024-03-19 21:02:02

前序:我先来说一下我使用kettle ETL工具的感受吧,这两天公司工作的需要,需要将一定量级的csv和excel格式的数据导入数据库表中。起初我想通过PLSQL的文本导入方式进行数据的导入,但是效果很不理想,最终还是选择了kettle进行导入,效果十分明显。这么说吧,十万级的数据几秒钟轻松搞定,让人感到非常欣慰。
说明:
csv文件导入与excel文件导入有差别,所以这里我按照两个模块进行讲解
一、使用kettle导入csv数据文件

  1. 前提
    大家需要先百度安装一下这个kettle,在这里我就不描述了,百度一下就行。
  2. 使用
    (1)点击文件 -> 新建 -> 转换,先建立一个转换(transformation)
    使用kettle导入csv、excel格式数据文件
    (2)在左侧菜单就会显示这个转换,我们可以先进行数据库连接
    使用kettle导入csv、excel格式数据文件
    (3)数据库连接
    注意:主机名称IP地址前输入两个斜杠‘//’,数据库名称前一个斜杠‘/’,这两个地方的书写格式我也是费很大的劲才在网上找到这个正确的格式;其余正常填写即可
    使用kettle导入csv、excel格式数据文件
    选填:选择选项->输入命名参数->填写完成后测试->测试成功后点击确定就行
    使用kettle导入csv、excel格式数据文件
    (4)选择核心对象->点击输入,拖拽CSV文件输入到右侧空白->点击输出,拖拽输出表也到右侧空白
    使用kettle导入csv、excel格式数据文件
    (5)分为1、2、3、4步,其中第4步必须匹配好 -> 点击预览->最后点击确定
    使用kettle导入csv、excel格式数据文件
    (6)箭头是由于按住shift键后由输入指向输出出现的(这个是必操作项,要不没数据)
    使用kettle导入csv、excel格式数据文件
    (7)首先我们在下拉框或新建选一种,如果一开始没有连接数据库,那么此时就选择新建,否则就选择下拉框找到我们新建的数据库名称 -> 目标表如果没有事先新建的话就手写输入要建的表名称 -> 选择数据库字段tab页 ->获取字段 -> 点击最下方的SQL -> 执行SQL语句 -> 最后选择确定即可
    使用kettle导入csv、excel格式数据文件
    使用kettle导入csv、excel格式数据文件
    (8)点击执行
    使用kettle导入csv、excel格式数据文件
    总结:
    以上就是kettle导入csv格式数据到oracle数据库表的一系列操作,希望对大家的学习有帮助!!!
    二、使用kettle导入excel格式数据文件
    说明:在这里我只说一下excel输入这步,因为其他的操作和上述的一样,这里就不累述了

使用kettle导入csv、excel格式数据文件
4.
使用kettle导入csv、excel格式数据文件
5.
使用kettle导入csv、excel格式数据文件
6.
使用kettle导入csv、excel格式数据文件