摘要: ELK ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母简写。 es:搜索 logstash:中央数据流引擎,用于从不同目标(文件/数据存储/MQ)收集的不同格式数据,经过过滤后支持输出到不同目的地(文件/MQ/redis/es/kafka等)。 Kibana:可 阅读全文
posted @ 2021-01-31 13:13 创客未来 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 流式计算框架 客户端将数据发送给MQ(消息队列)然后传递到Storm中进行计算 最终计算的结果储存到数据库中(HBase,Mysql) 客户端不要求服务器返回结果,客户端可以一直向storm发送数据。 客户端相当于生产者,storm相当于消费者。 Topology 计算拓扑 storm的拓扑式对实时 阅读全文
posted @ 2021-01-31 10:33 创客未来 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 1.Nimbus Storm的Mster,负责资源分配和任务调度,一个Storm集群只有一个Nimbus。 集群的主节点,对整个集群的资源使用情况进行管理。 但是nimbus是一个无状态的节点,所有的一切都储存在Zookeeper. 2.Supervisor Storm的Sjava,负责接收Nimb 阅读全文
posted @ 2021-01-31 10:05 创客未来 阅读(89) 评论(0) 推荐(0) 编辑
摘要: 1.storm简介 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的主流。 2.storm的优点 storm使用netty传送消息,消除了中间的排队过程,是消息能够直接在任务自身之间流动。在消息的背后是一种用于序列化和反序列化Storm 阅读全文
posted @ 2021-01-31 09:18 创客未来 阅读(311) 评论(0) 推荐(0) 编辑