实时交互平台流程与技术分析
摘要：最近几个月一直在做基于storm的流式处理，索性整理下所有的知识点与技术知识。 一、数据准备 1、首先，我们需要用户的所有数据，使用MapReduce进行数据处理，生成业务宽表导入hbase与Redis，用于后续实时处理直接从Redis中获取相应数据，减少读写磁盘IO的消耗。 二、消息的接入 1、传
阅读全文
posted @
2016-08-25 11:24
松伯
阅读(454)
推荐(0) 编辑
初版storm项目全流程自动化测试代码实现
摘要：由于项目需要，写了版针对业务的自动化测试代码，主要应用场景在于由于业务日趋复杂，一些公共代码的改动，担心会影响已有业务。还没进行重写，但知识点还是不少的与大家分享实践下。首先，介绍下整个流处理的业务流程。 首先 从网管实时接入数据到kafka，然后消息接入 进行预处理（这个过程是通过jetty框架，
阅读全文
posted @
2016-08-13 11:13
松伯
阅读(550)
推荐(0) 编辑
基于Redis、Storm的实时数据查询实践
摘要：通过算法小组给出的聚合文件，我们需要实现一种业务场景，通过用户的消费地点的商户ID与posId，查询出他所在的商圈，并通过商圈地点查询出与该区域的做活动的商户，并与之进行消息匹配，推送相应活动信息到用户手机。 那么整个流程分为两步，第一步，将整个聚合文件刷入缓存，文件数据格式如下： 29 1:1 1
阅读全文
posted @
2016-08-11 13:51
松伯
阅读(7492)
推荐(0) 编辑
Socket与Http方式解析发送xml消息封装中间件jar包
摘要：最近项目代码中太多重复的编写Document,不同的接口需要不同的模板，于是重写提取公共部分打成jar包，方便各个系统统一使用~ 提取结构： Http连接方式： Socket方式： package SocketClient; import java.io.DataInputStream; impor
阅读全文
posted @
2016-08-11 12:52
松伯
阅读(2116)
推荐(0) 编辑
