大文件分割并将字段定长输出
场景:接到需求,需要将一个五千万的表数据导出上传;
要求:文件大小小于2G,每个文件需增加行号,文件中的每个字段长度与接口规范保持一致;
操作:
第一步:将表中数据导出生成文件di_tmp.20200229,指定tab符为分割符;根据每行文件的总长度,每个文件大小小于2G,计算出每个文件的记录数为80万
第二步:分割文件,80万记录为一个文件,通过split命令对文件按行数进行分割
split -l 800000 di_tmp.20200229 new_di_tmp.20200229
分割后有多个文件,新文件的名称为:new_di_tmp.20200229aa,new_di_tmp.20200229ab,new_di_tmp.20200229ab...
第三步:对分割后的文件进行定长转换,通过awk命令对文件进行定长转换
cat new_di_tmp.20200229aa |awk -F"\t" '{printf ("%-8s%-1s%-15s%-15s%-17s%-4s\n",FNR,$1,$2,$3,$4,$5)}'
这里需要注意:awk命令后跟的分割符"\t",需要和数据库导出数据的分割符一致,这里都是用的tab符;通过FNR增加行号
操作结束。