Linux大文件快速处理小方法
- 背景
工作中使用MapReduce任务导出一批含有路径的文件,共计行数300W+,需要检测文件是否在对应的服务器中存在,而文件所在的服务器并非hadoop集群的服务器,因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低):
2. 采用的方法
a. 方法1
原本打算使用如下脚本,进行简单验证:
#!/bin/bash count=0 cat oriTest.txt | while read data do count=$(( $count+1 )) echo $count dir=`echo "$data" | awk -F "\t" '{print $5}'` if [ -e $dir ];then echo "$data" >> exist.txt else echo "$data" >> noexist.txt fi done
原始数据格式如下:
1 name mark id dir
运行时发现处理5000行需要将近4、5分钟的时间(机器为8核),果断不行啊,随后打算采用多进程的方法来执行,见方法2
b. 方法2
主要是通过将大文件分为小文件,然后对小文件进行后台遍历读取,脚本如下:
#!/bin/bash source ~/.bashrc # 判断路径是否存在 readdata(){ cat $1 | while read data do dir=`echo "$data" | awk -F "\t" '{print $5}'` if [ -e $dir ];then echo "$data" >> "exist_$1.txt" else echo "$data" >> "noexist_$1.txt" fi done } # 大文件切分为小文件,生成文件名为xaa,axb等(可以自己命名文件) split -l 10000 oriTest.txt declare -a files # 声明数组 files=($(ls x*)) # 分割后的小文件名保存数组 # 遍历,并后台执行 for i in ${files[@]};do echo $i readdata $i & done
执行效率因机器性能不同而不同,使用8核的机器执行300W的数据需要十几分钟完成
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步