2018年7月10日
MapReduce 中用于划分数据的那些函数 以及它们在streaming中的实现
摘要： MapReduce中有三个步骤用于划分大数据集, 给mapper和reducer提供数据 InputSplit 第一个是InputSplit, 它把数据划分成若干块提供给mapper 默认情况下是根据数据文件的block, 来划分, 一个block对应一个mapper, 优先在block所在的机器上 阅读全文
posted @ 2018-07-10 17:25 爱知菜 阅读(50) 评论(0) 推荐(0) 编辑
HDFS Yarn Oozie Hive 权限管理
摘要： HDFS HDFS的权限系统和普通linux的权限系统一样 , 每个文件或者文件夹都有三种权限: 拥有者, 相关组和其他人. 同时HDFS也支持ACL的权限机制, ACL是基础的权限机制的扩充版, 它丰富了基础的权限机制里"其他人"的权限. 可以为"其他人"指定 fine-grained的权限. h 阅读全文
posted @ 2018-07-10 15:45 爱知菜 阅读(36) 评论(0) 推荐(0) 编辑