随笔分类 -  Hadoop

Hadoop MapReduce
摘要：Hadoop MapReduce Hadoop MapReduce Hadoop MapReduce 这样我们就可以把MapReduce理解为，把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。Map面对的是杂乱无章的互不相关的数据，它解析每个数据，从中提取出key和value，也 阅读全文
posted @ 2018-01-15 21:34 suwenyuan 阅读(200) 评论(0) 推荐(0) 编辑
HDFS 分布式文件系统
摘要：简介 Hadoop Distributed File System，分布式文件系统 架构 Block数据&##x5757; 基本存储单位，一般大小为64M（配置大的块主要是因为：1）减少搜寻时间，一般硬盘传输速率比寻道时间要快，大的块可以减少寻道时间；2）减少管理块的数据开销，每个块都需要在Name 阅读全文
posted @ 2018-01-15 21:21 suwenyuan 阅读(234) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示