摘要: 一,实现思路 1,先mapreduces得到并传递数据。 2,写好连接表,创建表,插入表hbase数据库的工具。 3,在reduces中调用写好的hbase工具。 4,main类提交。 二,代码书写 1,mapper 2,hbase工具类 3,reducer 4,main 阅读全文
posted @ 2018-11-04 20:36 薄点 阅读(4453) 评论(0) 推荐(0) 编辑
摘要: 一,kafka概述 Kafka是一个高吞吐量的、持久性的、分布式发布/订阅消息系统。 它主要用于处理活跃的数据(登录、浏览、点击、分享、喜欢等用户行为产生的数据)。 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 Kafka是一个分布式消息队列:生产者、消费者 阅读全文
posted @ 2018-11-04 17:32 薄点 阅读(158) 评论(0) 推荐(0) 编辑