摘要：
Kafka 日志消息保存时间总结 Kafka 作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的日志实际上是以日志的方式默认保存在/kafka logs文件夹中的。虽然默认有7天清楚的机制，但是在数据量大，而磁盘容量不足的情况下，经常出现无法写入的情况。如何调整Kafka的一些默 阅读全文
摘要：
Spark 使用小结（一） spark 来源历史 Spark 是一种基于内存计算的大数据并行计算框架。Spark 最初是2009年加州大学伯克利分校开发，2010年开源、2013年成为Apache的开源项目，2014年成为顶级项目。目前使用的主要有2个大的版本1.6 和2.x版本。 Spark 定位 阅读全文
摘要：
在代码中引入字体设置如下 在py文件开头引入下面的代码 import sys reload(sys) sys.setdefaultencoding('utf-8') from matplotlib.font_manager import FontProperties font = FontPrope 阅读全文
摘要：
Zookeeper入门笔记（二） zookeeper命令介绍总结 最近工作中，发现组内同学在zk出现了故障，问题的时候很多时候都无所是从，不知道如何下手，很多智能看提示，日志，这里整理一个关于zk的命令集锦给大家参看， zkCmd命令行位置 zk模块和其它Hadoop环境模块的命令使用略有不同。其命 阅读全文
摘要：
UnicodeDecodeError: 'ascii' codec can't decode解决 今天拷贝了一段在WINDOW正常运行的python代码到mac上运行,提示 UnicodeDecodeError: 'ascii' codec can't decode 解决方法其实很简单，添加一下代码 阅读全文
摘要：
基础理论 在（一）中，我们直接使用了sklearn中的线性回归函数，找到可能拟合的线性方程。在具体谈线性回归之前，我们先补充一点基础知识： 最小二乘法 首先，最小二乘法中的二乘实际上是非常有中国特色的叫法，二乘其实就是平方，因为在古代对于平方就是叫二乘的，和 非常形象，这点我们应该还是佩服老祖宗的智 阅读全文
摘要：
前文讲述了大量关于线性回归的理论知识，现在实际来看下什么是线性回归，先看最简单的一元线性回归。 回归分析是确定预测属性（数值型）与其他变量间相互依赖的密切程度的一个定量分析模型。 模拟一段数据如下： 直接看上去，不太容易能直观的看出来这段数据是否是线性相关的，所以我们直接将数据画出来，看下数据是否线 阅读全文
摘要：
Metron pcap backend代码解析 metron pcap backend 主要用于创建一个storm topology 处理流，将来自于Kafka的原始数据解析到HDFS中。 其数据流如下： Pcap topology 这个topology 主要是读取数据，并将数据以顺序的方式写入到H 阅读全文
摘要：
HCP框架 Hortonworks CyberSecurity Package (HCP) is a cybersecurity platform. 其主要包含了三个组件： Real time Processing Security Engine Telemerty Data Collectors 阅读全文
摘要：
metron sensors pycapa详解 pycapa 采集器 pycapa网络数据采集器是metron sensors模块下的一个低效能网络数据采集。其虽然采集的效率比不上fastcapa，但是其结构简单，实用性比较强。特别方便测试使用。在笔者的另外一篇关于Metron的文章中已经对pyca 阅读全文