摘要:
1)Storm用于实时计算,Hadoop用于离线计算。 2)Storm处理的数据保存在内存中,源源不断;Hadoop处理的数据保存在文件系统中,一批一批处 理。 3)Storm的数据通过网络传输进来;Hadoop的数据保存在磁盘中。 4)Storm与Hadoop的编程模型相似 (1)hadoop相关 阅读全文
摘要:
nimbus 是整个集群的控管核心,负责topology的提交、运行状态监控、任务重新分配等工作。 zk就是一个管理者,监控者。 总体描述:nimbus下命令(分配任务),zk监督执行(心跳监控worker、supurvisor的心跳都归它管),supervisor领旨(下载代码),招募人马(创建w 阅读全文
摘要:
元祖(tuple) 元组(Tuple),是消息传递的基本单元,是一个命名的值列表,元组中的字段可以是任何类型的对 象。 Storm使用元组作为其数据模型,元组支持所有的基本类型、字符串和字节数组作为字段值,只要实现 类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map 阅读全文