人生列车

follow on!success!

导航

2017年10月19日 #

SHELL脚本之awk妙用

摘要: 对于一个sougou文本文件,解压后大概4G,要求在其基础上切出第一列时间年月日时分秒增加在列中,作为hive的一个索引。先将文件head一下展示格式: 最开始不知道awk这个命令,就单独切出很多临时文件最后通过paste命令将所有文件拼接起来,小文件测试成功,最后大文件报错说空间不够,跑了一半然后 阅读全文

posted @ 2017-10-19 17:34 tianxia2s 阅读(235) 评论(0) 推荐(0) 编辑