文件名称:shell-mysql:shell脚本分页导出mysql数据
文件大小:4KB
文件格式:ZIP
更新时间:2024-05-30 12:20:39
Shell
shell-mysql 使用shell脚本分页读取MySQL数据 脚本背景 由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成jar包, 上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的 客户端即可,用一行yum命令即可搞定,所以就花了点时间,封装了一个小脚本 功能介绍 直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据 效率与jdbc相差无几 脚本介绍 主要有三个脚本构成1,page.sh 这是一主脚本,里面定义了分页的条件,大家看下便知2,f.sh 一个小包装的脚本吧,里面会用sed去掉表头一些信息3,port.
【文件预览】:
shell-mysql-master
----LICENSE(1KB)
----src()
--------f.sh(377B)
--------page.sh(1KB)
--------port.sh(542B)
----README.md(2KB)