随笔分类 - 复合事件处理(CEP)
一种新兴的基于事件流的技术,它将系统数据看作不同类型的事件,通过分析事件间的关系,建立不同的事件关系序列库,利用过滤、关联、聚合等技术,最终由简单事件产生高级事件或商业流程。
摘要:Esper是专门进行复杂事件处理(CEP)的流处理平台,Java版本为Esper,.Net版本为NEsper。Esper & NEsper可以方便开发者快速开发部署处理大容量消息和事件的应用系统,不论是历史的还是实时的消息。现在已经发布了Nuget包, 地址是http://www.nuget.org/packages/NEsper/,也可以直接通过Visual Studio:
阅读全文
摘要:StreamInsight 是 SQL Server 2008 R2 中的新模块,它提供了复杂事件处理(CEP, Complex Event Processing)的功能。即对于来自多数据源的无限事件序列提供近乎零延时的连续处理。StreamInsight是一个临时查询处理引擎,它可以支持应用程序对时间窗口内的事件进行查询处理。它对流数据的处理范围包括简单聚合、多数据源事件相关性、事件模式检测、甚...
阅读全文
摘要:首先介绍一下NESPER的大体结构,NEsper从内容上分为两块,NEsper的核心NEsper.dll和NEsper.IO.dll。 (1)NEsper的核心包包含了EPL语法解析引擎,事件监听机制,事件处理等核心模块。 (2)NEsper的io包含从各种数据源读取数据以及将输出结果写入各种数据源,包括excel,database,msmq,http,socket,XML。 贴一张esp...
阅读全文
摘要:NEsper使用的事件类型来描述事件的类型信息。你的应用在启动时可能预先配置定义事件类型,或者在运行时通过API或EPL语法动态的增加事件类型。 EPL中的create schema 的语法允许在运行时用EPL申明一个事件类型。 2.1事件对象 事件是过去发生的动作或状态变化的一个不可改变的记录。事件属性捕捉事件的状态信息。 在ESPER中,事件是可以被描述成以下任何一种CLR对象: ...
阅读全文
摘要:对实时信息分析和处理,常常需要客户应用程序的开发相应功能。一般地,这些功能需要提供以下的处理流程,分析获取的数据,筛选数据,提取出有用的信息,然后将其通过特定的形式展现出来。由于具体实时信息的高并发性和高吞吐量的需求,这就需要客户应用程序具有高度扩展性和响应能力,而在数据处理领域。NEsper就是一个.NET 开源的针对此类问题的事件流处理解决方案,其目的在于简化有此需求的客户应用程序的开...
阅读全文
摘要:复合事件处理(Complex Event Processing)介绍提到了开源的Esper,NEsper 是一个事件流处理(Event Stream Processing,ESP)和复杂事件处理(Complex Event Processing,CEP)的系统,它可以监测事件流并当特定事件发生时触发...
阅读全文
摘要:微软开源Erik Meijer团队开发的异步编程库Rx,支持.NET、JavaScript和C++。Erik Meijer是荷兰计算机科学家,目前在微软担任架构师,领导Cloud Programmability团队
阅读全文
摘要:原文:http://msdn.microsoft.com/zh-cn/magazine/hh852591.aspx 最近关于“物联网”(IoT) 的争论有很多,而且理由都很充分。 Ericsson...
阅读全文
摘要:原文地址:http://msdn.microsoft.com/zh-cn/magazine/hh205648.aspx 下载代码示例 生产线的产量下降后,将容易出现用户媒体流跳过这些流程,或...
阅读全文
摘要:微软的首席StreamInsight™ 项目经理发布的一篇博客 Big Data, Hadoop and StreamInsight™,微软的大数据解决方案中包含 Microsoft StreamI...
阅读全文
摘要:大规模实时数据的处理对数据分析的要求很高,现有的数据库显然难以应付,而扩展将带来巨大开销。此外,NERC作为统筹多个区域电网的安全稳定的机构,计划各区PMU数据汇集到统一协调机构已实现整体评估,避免数据不共享造成的评估难题。在如此背景下,适合大规模、分布式数据处理的Hadoop突围而出,可实现利用最普通的计算机构建庞大的分布式式数据库。TVA在其基础上开发了superPDC,最近并通过openPDC(http://openpdc.codeplex.com/)项目将其开源,此工作将有利于推到量测数据的大规模分析处理,同时将为电网其他时序数据的处理提共通用的平台。目前该项目已经在美国多家电力公司得
阅读全文
摘要:NET的Reactive Extensions包含一系列扩展方法和为.NET 4及Silverlight 4中新加入的 IObservable<out T> 和 IObserver<in T>接口实现的LINQ标准顺序运算符。加入到.NET中的Observable接口为基于推(push-based)的通知提供了一个公共接口,并能够基于此创建.NET的一些其他功能和类库。Rx...
阅读全文
摘要:微软StreamInsight是开发和部署时空事件流的应用平台。 StreamInSight包含了一个时空数据流模型,统一和查询语言功能进一步丰富,处理在事件传递,并保证输出的一致性。得益于其实时低延...
阅读全文
摘要:复合事件是由史丹佛大学的David Luckham 与Brian Fraseca 所提出,David Luckham 与Brian Fraseca 于1990年提出复合事件架构,使用模式比对、事件的相互关系、事件间的聚合关系,目的从事件云(event cloud)中找出有意义的事件,使得IT 架构可以更能弹性使用事件驱动架构,并且能使企业更能快速的开发出更复杂的逻辑架构。
阅读全文