随笔分类 -  流计算(Storm)

摘要:流式计算框架 客户端将数据发送给MQ(消息队列)然后传递到Storm中进行计算 最终计算的结果储存到数据库中(HBase,Mysql) 客户端不要求服务器返回结果,客户端可以一直向storm发送数据。 客户端相当于生产者,storm相当于消费者。 Topology 计算拓扑 storm的拓扑式对实时 阅读全文
posted @ 2021-01-31 10:33 创客未来 阅读(133) 评论(0) 推荐(0) 编辑
摘要:1.Nimbus Storm的Mster,负责资源分配和任务调度,一个Storm集群只有一个Nimbus。 集群的主节点,对整个集群的资源使用情况进行管理。 但是nimbus是一个无状态的节点,所有的一切都储存在Zookeeper. 2.Supervisor Storm的Sjava,负责接收Nimb 阅读全文
posted @ 2021-01-31 10:05 创客未来 阅读(96) 评论(0) 推荐(0) 编辑
摘要:1.storm简介 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的主流。 2.storm的优点 storm使用netty传送消息,消除了中间的排队过程,是消息能够直接在任务自身之间流动。在消息的背后是一种用于序列化和反序列化Storm 阅读全文
posted @ 2021-01-31 09:18 创客未来 阅读(338) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示