Hadoop 小文件处理
摘要：
1. 小文件的产生原因 定义: 当一个文件的大小小于 HDFS 的块大小（默认128MB）就认定为小文件，否则就是大文件 1. 批处理,离线计算, 会有小文件的产生; 2. 数据处理时,把数据源搬迁到 HDFS,如果数据源本身就是有很多小文件; 3. MapReduce作业 和 Spark作业时,没 阅读全文
posted @ 2020-04-29 21:07 一剑风徽 阅读(1273) 评论(0) 推荐(0) 编辑
自动化运维(DEVOPS)shell
摘要：
自动化运维(DEVOPS)shell 1. shell基础知识 1.1 shell 脚本 1.1.1 创建脚本 脚本创建工具： 创建脚本的常见编辑器是 vi/vim. 脚本命名 shell脚本的命名简单来说就是要有意义，方便我们通过脚本名，来知道这个文件是干什么用的。 脚本内容： 各种可以执行的命令 阅读全文
posted @ 2020-04-29 19:10 一剑风徽 阅读(1360) 评论(0) 推荐(0) 编辑