2017年12月7日

摘要: Hadoop 中namenode和datanode理解 源自资源:https://www.cnblogs.com/forget-me-not/p/5749256.html namenode:namenode是中心服务器,单一节点(简化系统的设计和实现),负责管理文件系统的命名空间以及客户端对文件的访 阅读全文
posted @ 2017-12-07 18:20 zorashuang 阅读(1646) 评论(0) 推荐(0) 编辑
 
摘要: 重点概念: 输入分片:在进行map计算之前,mapreduce会根据数据文件计算输入的分片(input split)。 每个输入分片针对一个map任务,输入分片存储的并非数据本身,而是一个分片长度和一个记录数据的位置的数组。 [而 实时ctr代码中,直接取列表的第1个,来做判断,所以出错。]??? 阅读全文
posted @ 2017-12-07 17:44 zorashuang 阅读(108) 评论(0) 推荐(0) 编辑
 
摘要: Deprecated 过时的 阅读全文
posted @ 2017-12-07 16:24 zorashuang 阅读(118) 评论(0) 推荐(0) 编辑