2018年9月10日

把实体bean对象转换成DBObject工具类

摘要： import java.lang.reflect.Field; import java.lang.reflect.InvocationTargetException; import java.util.Date; import org.apache.commons.beanutils.BeanUtils; import com.mongodb.BasicDBObject; import com.... 阅读全文

posted @ 2018-09-10 18:14 动物管理猿 阅读(391) 评论(0) 推荐(0) 编辑

Trident整合MongoDB

摘要： MongoDB是大数据技术中常用的NoSql型数据库，它提供的大量的查询、聚合等操作函数，对于大量查询的日志系统来说，该MongoDB是大数据日志存储的福音。Storm的高级编程技术Trident，也提供了与Mongo集成的方法，但官方只提供了新增的处理，对于常用的修改操作并未提供接口，本文提供了一 阅读全文

posted @ 2018-09-10 17:17 动物管理猿 阅读(146) 评论(0) 推荐(0) 编辑

Trident整合Kafka

摘要： 首先编写一个打印函数KafkaPrintFunction 然后编写trident整合kafka的topology 另一个Java项目发送kafka数据 最后运行storm项目以及java项目（需要先运行java项目往kafka发数据，建立此topic，storm才能消费这个topic） 观察结果，s 阅读全文

posted @ 2018-09-10 12:23 动物管理猿 阅读(293) 评论(0) 推荐(0) 编辑

Trident学习笔记（二）

摘要： aggregator 聚合动作；聚合操作可以是基于batch、stream、partiton [聚合方式-分区聚合] partitionAggregate 分区聚合；基于分区进行聚合运算；作用于分区而不是batch。 mystream.partitionAggregate(new Fields("x 阅读全文

posted @ 2018-09-10 10:38 动物管理猿 阅读(179) 评论(0) 推荐(0) 编辑

导航