2016 年 6月 5 日随笔档案 - 松伯

2016年6月5日

摘要： Redis在工程开发中还是比较常用的Nosql内存数据库，简单巩固一下它的各种数据类型与用法~ 阅读全文

posted @ 2016-06-05 22:33 松伯阅读(284) 评论(0) 推荐(0) 编辑

摘要： Storm利用Acker Bolt节点跟踪消息，当Spout发送出去的消息以及这些消息所衍生出来的消息均被处理后，Spout将受到对应于该消息的Ack。实现要点： 1、Storm中每条发送出去的消息都会对应一个随机的消息ID。 2、Spout发送消息后，将向Acker Bolt发送一条消息，该消息内阅读全文

posted @ 2016-06-05 20:53 松伯阅读(464) 评论(0) 推荐(0) 编辑

MapReduce格式与类型

摘要： MapReduce Types MapReduce是一个简单的数据处理模型，map与reduce的输入和输出类型都为key-value形式的键值对。一般来讲，map的输入key与输出value类型(K1,V1)不同于map的输出类型(K2,V2).reduce的输入类型比如与map的输出类型保持一阅读全文

posted @ 2016-06-05 12:34 松伯阅读(766) 评论(0) 推荐(0) 编辑

Hadoop 2.6 MapReduce运行原理详解

摘要：市面上的hadoop权威指南一类的都是老版本的书籍了，索性学习并翻译了下最新版的Hadoop:The Definitive Guide, 4th Edition与大家共同学习。我们通过提交jar包，进行MapReduce处理，那么整个运行过程分为五个环节： 1、向client端提交MapReduc 阅读全文

posted @ 2016-06-05 00:48 松伯阅读(8848) 评论(1) 推荐(0) 编辑