Yudar - 博客园

2015年10月15日

摘要：最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费... 阅读全文

posted @ 2015-10-15 18:34 Yudar 阅读(584) 评论(0) 推荐(0) 编辑

分布式实时日志系统（一）环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署

posted @ 2015-10-15 18:31 Yudar 阅读(3414) 评论(0) 推荐(0) 编辑

2015年10月12日

Esper学习之十五：Pattern（二）

摘要：上一篇开始了新一轮语法——Pattern的讲解，一开始为大家普及了几个基础知识，其中有说到操作符。当时只是把它们都列举出来了，所以今天这篇就是专门详解这些操作符的，但是由于篇幅限制，本篇先会讲几个，剩余的后面几篇会逐个讲解。1. Followed-by 如果各位有看过官方文档，应该会发现Follow... 阅读全文

posted @ 2015-10-12 19:55 Yudar 阅读(620) 评论(0) 推荐(0) 编辑

Esper学习之十四：Pattern（一）

摘要： 1. Pattern Atoms and Pattern operatorsPattern是通过原子事件和操作符组合在一起构成模板。原子事件有3类，操作符有4类，具体如下：原子事件：1).普通事件：包括POJO，Map，Array，XML2).时间事件：包括间隔n个时间单位、crontab3).自定... 阅读全文

posted @ 2015-10-12 19:54 Yudar 阅读(836) 评论(0) 推荐(0) 编辑

Esper学习之十三：EPL语法（九）

摘要：距离上一篇博客已经有很多个月的时间了，由于工作的原因，没怎么腾出手来写博客。再加上自己已计划算法学习为第一要务，更新博客的事情暂时就放缓了脚步。所以各位童鞋大可不必等我的博客，先把文档看起来，有什么不懂的先记下来，可以私信问我也可以等文章出来后再理解一遍，这样就不耽误大家的学习了。上一篇我们说到了... 阅读全文

posted @ 2015-10-12 19:53 Yudar 阅读(910) 评论(0) 推荐(0) 编辑

Esper学习之十二：EPL语法（八）

摘要：今天的内容十分重要，在Esper的应用中是十分常用的功能之一。它是一种事件集合，我们可以对这个集合进行增删查改，所以在复杂的业务场景中我们肯定不会缺少它。它就是Named Window。由于本篇篇幅较长，希望各位童鞋慢慢阅读，并仔细研究文档中或者我给出的例子。1.Create Named Win... 阅读全文

posted @ 2015-10-12 19:52 Yudar 阅读(972) 评论(0) 推荐(0) 编辑

Esper学习之十一：EPL语法（七）

摘要：上一篇说到了EPL如何访问关系型数据库这种数据源，实际上别的数据源，比如：webservice、分布式缓存、非关系型数据库等等，Esper提供了统一的数据访问接口。然后今天会讲解如何创建另外一种事件类型——Schema。1.Joining Method Invocation Results和执行sq... 阅读全文

posted @ 2015-10-12 19:51 Yudar 阅读(603) 评论(0) 推荐(0) 编辑

Esper学习之十：EPL语法（六）

摘要：在esper的文档中，epl访问数据库的配置放在了比较靠后的位置，不过为了方便各位学习，这里会先说明和数据库交互的相关配置，然后再说epl怎么访问数据库。配置文件在官方esper包的etc文件夹下，大家可以参考着学习。1.连接数据库a.JNDI获取连接配置如下：[html]view plainco... 阅读全文

posted @ 2015-10-12 19:49 Yudar 阅读(787) 评论(0) 推荐(0) 编辑

Esper学习之九：EPL语法（五）

摘要：本篇的内容主要包括了Subquery（也就是子查询）和Join，内容不少，但是不难，基本上和sql差不太多。1.SubqueryEPL里的Subquery和sql的类似，是否比sql的用法更多我不得而知，毕竟本人是sql菜鸟，只在where语句里用过子查询。废话不多说，先上几个Subquer的简单用... 阅读全文

posted @ 2015-10-12 19:48 Yudar 阅读(718) 评论(0) 推荐(0) 编辑

Esper学习之八：EPL语法（四）

摘要：关于EPL，已经写了三篇了，预估计了一下，除了今天这篇，后面还有5篇左右。大家可别嫌多，官方的文档对EPL的讲解有将近140页，我已经尽量将废话都干掉了，再配合我附上的例子，看我的10篇文章比那140页英文文档肯定舒服多了吧。也请各位原谅我一周一篇的速度，毕竟我还要学习，生活，工作，一个都不能少。 ... 阅读全文

posted @ 2015-10-12 19:47 Yudar 阅读(752) 评论(0) 推荐(0) 编辑