摘要：
kafka-0.8.2 新特性 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开 阅读全文
摘要：
面向对象编程的2个非常重要的概念：类和对象。 对象是面向对象编程的核心，在使用对象的过程中，为了将具有共同特征和行为的一组对象抽象定义，提出了另外一个新的概念——类。 本人学习笔记基于python2的版本进行测试。 定义一个类 必须要进行tab缩进来区分类的成员，同时类的属性必须指定一个值，否则会报 阅读全文
摘要：
Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash Shell。Shell也是一门编程语言<解释型的编程语言>，即shell脚本<就是在用linux的shell命令编程>。一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shel 阅读全文
摘要：
原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/6675350.html 微信：intsmaze 原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/6675350.html 微信：intsmaze if 语法格式 示例 v 阅读全文
摘要：
linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。下面说说它的定义方法，以及调用需要注意那些事项。 原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/6675421.html 微信：intsmaze 原文和作者一起讨论:http:// 阅读全文
摘要：
Hbas预分区 在系统中向hbase中插入数据时，常常通过设置region的预分区来防止大数据量插入的热点问题，提高数据插入的效率，同时可以减少当数据猛增时由于Region split带来的资源消耗。大量的预分区数量会导致hbase客户端缓存大量的分区地址，导致内存的增长，某些系统中一个JVM进程中 阅读全文
摘要：
Spark SQL支持两种RDDs转换为DataFrames的方式 使用反射获取RDD内的Schema 当已知类的Schema的时候，使用这种基于反射的方法会让代码更加简洁而且效果也很好。 通过编程接口指定Schema 通过Spark SQL的接口创建RDD的Schema，这种方式会让代码比较冗长。 阅读全文
摘要：
机器部署 准备三台Linux服务器，安装好JDK1.7 下载Spark安装包 上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上 解压安装包到指定位置tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz -C /h 阅读全文
摘要：
序:最近对storm平台系统进行性能检测发现偶尔会出现oncebolt向另一个twobolt发送数据后，twobolt要500毫秒后才接收到进行处理。这里简单说增大twobolt的并行度即可解决，但是究其内部原因是因为storm的通信机制所导致的问题。 先介绍背景:一个拓扑的结构，spout(并行度 阅读全文
摘要：
滑动窗口在监控和统计应用的场景比较广泛，比如每隔一段时间(10s)统计最近30s的请求量或者异常次数，根据请求或者异常次数采取相应措施。在storm1.0版本之前，没有提供关于滑动窗口的实现，需要开发者自己实现滑动窗口的功能（storm1.0以前实现滑动窗口的实现原理可以自行百度）。 原文和作者一起 阅读全文