摘要: HDFS(Hadoop Distributed File System):Hadoop分布式文件系统 概念 数据块 HDFS上的文件被划分为块大小的多个分块(chunk),作为独立的存储单元。在2.X版本默认块大小为128MB,旧版本块大小默认为64MB。 查看文件块大小和副本数 ## 语法 had 阅读全文
posted @ 2020-10-02 08:39 KuBee 阅读(277) 评论(0) 推荐(0) 编辑
摘要: MapReduce 用于数据处理的编程模型,用于大规模数据集的并行运算。基于磁盘IO进行迭代,开销较大 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的==分布式运算程序==,并发运行在一个Hadoop集群上。 MR(MapReduce)优缺点 优点 易于编程 良好 阅读全文
posted @ 2020-10-02 08:31 KuBee 阅读(692) 评论(0) 推荐(0) 编辑