摘要: Fluk Fluk是storm中的一个框架,主要功能是简化storm 任务在管理、配置topology中的一些问题和麻烦。 产生的原因背景 在管理storm 的topolgy的过程中,我们最常做的工作就是提交jar包。如下代码所示: 上述提交任务的代码,通常都是位于上层的java任务管理器中。同时关 阅读全文
posted @ 2018-03-27 22:29 angelxp 阅读(466) 评论(0) 推荐(0) 编辑
摘要: HCP框架 Hortonworks CyberSecurity Package (HCP) is a cybersecurity platform. 其主要包含了三个组件: Real time Processing Security Engine Telemerty Data Collectors 阅读全文
posted @ 2018-03-26 16:26 angelxp 阅读(694) 评论(0) 推荐(0) 编辑
摘要: Kafka进阶知识 消息概念 消息指的是通信的基本单位。由消息生产者(producer)发布关于某个话题(topic)的消息。简单来说:消息以一种物理方式被发送给了作为代理(broker)的服务器(可能是另外一台机器)。若干的消息使用者(consumer)订阅(subscribe)某个话题,然后生产 阅读全文
posted @ 2018-02-12 20:03 angelxp 阅读(259) 评论(0) 推荐(0) 编辑
摘要: Lambda 表达式 Lambda函数 又称之为匿名函数,所谓匿名函数就是没有名字的函数。在我们日常的开发过程中,其实存在很多函数其实只是临时使用一次,或者这个函数的功能本身就非常的简单,例如就是做个加法或者交换下位置一类的,在这个时候,如果还是采用传统的方法去定义一个标准的函数,就显得多余了。 L 阅读全文
posted @ 2018-02-12 20:00 angelxp 阅读(528) 评论(0) 推荐(0) 编辑
摘要: Kafka 入门知识 Apache Kafka 是一个分布式的流平台。(大多数时候,我们认为它是只是一个分布式的消息中间件,个人以为不完全是)。根据官方的说法:一个流处理平台要具有三个关键的能力: 发布和订阅消息的能力。这方面与消息队列比较类似。 以容错的方式存储消息(流)。 在消息流发生时处理他们 阅读全文
posted @ 2017-11-30 13:22 angelxp 阅读(1061) 评论(0) 推荐(0) 编辑
摘要: KMP算法介绍总结 KMP算法来源 KMP算法英文是(Knuth Morris Pratt),它是以三个发明者命名的,起头的K代表的是著名科学家Donald Knuth.其最常用于字符串匹配,查询。 算法说明 一般我们匹配字符串的时候,我们从目标字符串dstr(假设长度为n)的第一个下标选取和spt 阅读全文
posted @ 2017-11-03 15:24 angelxp 阅读(415) 评论(0) 推荐(0) 编辑
摘要: 最近笔者公司开始使用TSDB,但很多同事反馈看不懂row_key怎么计算出来的,不方便调试核对,因此特写本文供同事调试使用。由于只是讲解如何计算,因此不涉及TSDB理论及为什么会这样,有兴趣的同学可以自行google TSDB RowKey设计规则介绍 TSDB作为基于HBase的时序数据库,其最大 阅读全文
posted @ 2017-09-30 09:33 angelxp 阅读(873) 评论(1) 推荐(0) 编辑
摘要: 进入HBase 命令行 查看Hbase 的状态 status 显示HBase 中的表 list 删除表 drop 删除表的前提是表要处于disable的状态,如果没有则disable 表 创建表 create create 第一个参数是代表Row ,后面的代表Column 插入数据 put 需要主要 阅读全文
posted @ 2017-09-20 14:49 angelxp 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 本文所涉及的Hadoop的文件系统主要是HDFS,通过JavaAPI的方式和HDFS进行交互。 创建一个空的Maven工程 通过Idea创建一个空的Maven工程,创建完毕以后,由于pom中未定义任何的组件,没有编写相关的代码,所以工程没有实质的内容。 读取HDFS需要使用org.apache.ha 阅读全文
posted @ 2017-09-17 17:01 angelxp 阅读(257) 评论(0) 推荐(0) 编辑
摘要: Hadoop 作为大数据的主要支撑技术之一,被广泛使用。那何为hadoop了? 节选维基上的解释如下(其基本和官方定义差不多), Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoo 阅读全文
posted @ 2017-09-17 14:17 angelxp 阅读(1338) 评论(0) 推荐(0) 编辑