摘要: HDFS数据存储 HDFS client上传数据到HDFS时,首先,在本地缓存数据,当数据达到一个block大小时。请求NameNode分配一个block。 NameNode会把block所在的DataNode的地址告诉HDFS client。 HDFS client会直接和DataNode通信,把 阅读全文
posted @ 2018-12-06 23:10 dummyly 阅读(6064) 评论(0) 推荐(0) 编辑
摘要: 开发工具:IDEA mapreduce实现思路: Map阶段: a) 从HDFS的源数据文件中逐行读取数据 b) 将每一行数据切分出单词 c) 为每一个单词构造一个键值对(单词,1) d) 将键值对发送给reduce Reduce阶段: a) 接收map阶段输出的单词键值对 b) 将相同单词的键值对 阅读全文
posted @ 2018-12-06 18:12 dummyly 阅读(2827) 评论(0) 推荐(0) 编辑
摘要: Redis数据结构图: Strings型 <String key,String value>: keys * 查看所有key get 获取key的value值 append 向key对应的value追加内容 Exists 判断key是否存在,存在返回1,不存在返回0 Set 当key存在会把key原 阅读全文
posted @ 2018-12-06 16:05 dummyly 阅读(149) 评论(0) 推荐(0) 编辑