2017年1月21日
Linux大文件快速处理小方法
摘要： 工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)： 2. 采用的方法 a. 方法1 原本打算使用如下脚本，进 阅读全文
posted @ 2017-01-21 14:35 mengrennwpu 阅读(1546) 评论(0) 推荐(0) 编辑