linux-CSV大文件切割为小文件(shell脚本)

需求：将一个CSV文件按照指定大小进行分割

使用场景：将一个csv的大文件直接写入mysql的表中，若不进行小文件的切割，极大可能会导致写入失败，或者写入的数据出现问题

1、创建一个文件

touch split_file.sh
vim split_file.sh

2、添加如下的脚本，不用改任何内容

#!/bin/bash
source /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
size=$1
file=$2
 
FileSize=`ls -l $file |awk '{print $5}'`
res=`echo "scale=2;$FileSize/(1024*1024*$size)+0.1" |bc` #根据要求的大小，算需要分割为多少个文件
lines=`wc -l $file |awk '{print $1}'`
echo orginal file lines is $lines, split file less than $1M, file number '>' $res
num=`echo "$lines/$res" |bc`
# 判断目录是否存在
if [[ $3 == */* ]]
then
   #获得目录  dist_10040503_res/tianmao_ 截取dist_10040503_res/为目录
   # -v awk_all="$3" 是shell给awk传参数的做法 此处的$3是shell的外部参数
   dic=`awk -v awk_all="$3" 'BEGIN{info=awk_all;tlen=split(info,tA,"/");dic=length(info)-length(tA[tlen]);{print substr(info,1,dic)}}'`
   if [[ ! -d "$dic" ]]
   then
      mkdir -p $dic
   fi
fi
splitFile=`split -l $num $file $3`
# 修改后缀
for i in $3*
do
   fileName="$i"".csv"
   echo $fileName
   mv $i $i".csv"
done

文件按照大小进行切分

• 参数1（最终文件大小要小于的数字）
• 参数2（要切分的文件）
• 参数3（最终文件存放的位置/文件名字的前缀 或者文件的前缀）

如果参数3格式是 /data/test_则认为最终的文件存放在data目录下以test_开头

3、执行运行

• 120：表示要切割的数量
• dist.csv：要切割的文件
• /data/test_：切割的文件以此test_开头

sh split_file.sh 120 dist.csv /data/test_

原文链接：https://blog.csdn.net/guoyuannan/article/details/79488148