Elasticsearch 5.4 beta 新功能:机器学习官方支持来了!

0?wx_fmt=gif

如果你也是 Elaticsearch 的粉丝,或者机器学习的爱好者,你肯定不会错过这个东西。5 月份 Elaticsearch 推出了新版本 5.4,准确地说是 Elastic Stack 全家桶都更新为 5.4 了,在 X-pack 中的 beta 特性中,加入了 Machine Learning 这个特性,同时也会在 Kibana 中有所体现。

据官方博客报导,他们讲 Prelert Machine Learning 的技术应用到了 Elastic Stack 中,Prelert 是 Elastic 公司去年 9 月份收购的行为分析技术提供商,意图是帮助客户解决网络安全、欺诈检测、IT 运营分析等场景问题。Prelert 和 Elastic 产品的高度契合,最终成就了这个看起来很炫酷的工具。

报导还称,“目前,X-Pack Machine Learning 功能的着眼点是,利用无监督式机器学习,提供 “时间序列异常检测” 功能。以后将计划增加更多 Machine Learning 功能,但是我们目前只专注于为用户存储的时间序列数据(例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据)提供附加值。” 这就是说,大家可能比较期待的有监督学习或者什么深度学习并没有集成进来,而更多的还是 Elasticsearch 更擅长的时间序列分析。

下面将介绍三种不同的使用用例:

  1. 自动提醒关键绩效指标值的异常变化

  2. 自动追踪数以千计的指标

  3. 高级作业

用例1:自动提醒关键绩效指标值的异常变化

Machine Learning 功能的首个切入点是单一指标作业,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分析,并在发生异常时发出警报。产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。该功能可以在 Elasticsearch 集群中像原生程序一样运行,功能实现进行了优化,几秒钟即可分析数以百万计的事件。

0?wx_fmt=gif

用例2:自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况。

0?wx_fmt=gif

用例3:高级作业

如果您想找出与整体相比行为异常的用户、异常的 DNS 流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

安装 X-Pack 之后,就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似,能够跨 Elasticsearch 集群自动分布和管理。

0?wx_fmt=jpeg

0?wx_fmt=jpeg

posted @ 2017-06-15 11:36  Java技术头条  阅读(128)  评论(0编辑  收藏  举报