使用shell分页读取600万+的MySQL数据脚本

shell-mysql

脚本背景

因为要在Linux上。远程读取mysql的表的数据，然后做一定清洗后。把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了。得在Win上开发好，还得打成jar包。上传到Linux上，假设那里出了问题。还得反复这样，很不方便，那就用shell写一个吧。也不须要什么jdbc驱动包，仅仅须要在Linux上装个MySQL的client就可以。用一行yum命令就可以搞定，所以就花了点时间。封装了一个小脚本

功能介绍

直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本，已測过读取600万+的数据效率与jdbc相差无几

脚本介绍

主要有三个脚本构成
1，page.sh 这是一主脚本。里面定义了分页的条件，大家看下便知
2。f.sh 一个小包装的脚本吧，里面会用sed去掉表头一些信息
3，port.sh 分页读取数据的运行脚本

怎样使用？

使用很easy，须要改下page.sh里面的查询字段，以及分页查询的数量。默认是10000，然后运行sh page.sh databaseName tableName传入数据库名和表名就可以

github链接：脚本地址