HDFS 处理命令记录
hdfs dfs -ls hdfs dfs -mkdir hdfs dfs -put hdfs dfs -get hdfs dfs -cat
hadoop 执行jar 输出的目录 必须要不存在的
yarn jar dpi-hadoop-1.0.0.jar MapReduceJob /test/lilin/input /test/lilin/out/dpi
查看目录大小
hdfs fsck /test/dpi/dpi_out/2016120715
获取.lzo_deflate的文件内容
hdfs dfs -text /daas/bstl/dpifix/beijing/20170315/FixedDPI.2017031523_99.1489593029667.lzo_deflate > test.txt
特别注意:文件中包含不可见字符最好用vi命令来查看文件内容。
lzo_deflate 处理方式 记录:
查看hdfs的压缩文件 重定向 到本地文件
hdfs dfs -text /test/20170315/FixedDPI.2017031523_99.1489593029667.lzo_deflate > test.txt
取文件的前多少行 到另外的文件
head -n 1000 test.txt > test1.txt
压缩文件小文件:
gzip test1.txt
获取小文件:压缩后的文件
sz -e test1.txt.gz
解压缩文件
gunzip test1.txt.gz
上传到HDFS
hdfs dfs -put test1.txt /HDFS文件路径
本文为原创作品,欢迎吐槽,转载请注明:http://www.cnblogs.com/lilin0719/
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· DeepSeek 解答了困扰我五年的技术问题。时代确实变了!
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!