尧字节

摘要： ElasticSearch性能优化主要分为4个方面的优化。 一、服务器部署 二、服务器配置 三、数据结构优化 四、运行期优化 一、服务器部署 1、增加1-2台服务器，用于负载均衡节点 elasticSearch的配置文件中有2个参数：node.master和node.data。这两个参 数搭配使用时 阅读全文

摘要： elasticsearch中有两个比较重要的操作：refresh 和 flush 当我们向ES发送请求的时候，我们发现es貌似可以在我们发请求的同时进行搜索。而这个实时建索引并可以被搜索的过程实际上是一次es 索引提交（commit）的过程，如果这个提交的过程直接将数据写入磁盘（fsync）必然会影 阅读全文

摘要： 转自：http://www.cnblogs.com/nxld/p/6607943.html 我想说：“任何事件都是条件概率。”为什么呢？因为我认为，任何事件的发生都不是完全偶然的，它都会以其他事件的发生为基础。换句话说，条件概率就是在其他事件发生的基础上，某事件发生的概率。 条件概率是朴素贝叶斯模型 阅读全文

摘要： 由于早期的storm版本心跳信息严重依赖zookeeper，心跳风暴会导致zookeeper的事务日志频繁的写磁盘，带来的问题首当其冲的是磁盘IO会爆掉。 优化思路 由于早期的storm版本心跳信息严重依赖zookeeper，心跳风暴会导致zookeeper的事务日志频繁的写磁盘，带来的问题首当其冲 阅读全文

摘要： 说明:本文的内容是看了《深入理解Java虚拟机：JVM高级特性与最佳实践》后为加印象和理解，便记录了重要的内容。 1 开门见山 以前曾经看到过一个java的面试题,当时觉得此题很简单，可是自己把代码运行起来,可是结果并不是自己想象的那样。题目如下: 错误答案 count1=1 count2=1 正确 阅读全文

摘要： 作者：仲浩 出处：《程序员》电子刊5月B 摘要：Spark立足内存计算，常常需要在内存中存放大量数据，因此也更依赖JVM的垃圾回收机制。与此同时，它也兼容批处理和流式处理，对于程序吞吐量和延迟都有较高要求，因此GC参数的调优在Spark应用实践中显得尤为重要。 Spark是时下非常热门的大数据计算框 阅读全文

摘要： 首先续上篇测试： 经过上一篇文章中对代码及参数的修改，Hbase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。 本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。 上篇测试内容： 详情　http://blog.csdn. 阅读全文

摘要： 转载：http://blog.csdn.net/kalaamong/article/details/7290192 接上文啊： 测试数据: 集群结构 这样设设计的集群结构，主要目的就是要压测Region Server。以下所有测试客户端put关HLog，服务端不split。 第一组：（原始情况） 这 阅读全文

摘要： 转自：http://blog.csdn.net/tutucute0000/article/details/39756123 从nameNode1、namenode2克隆出namenode3、namenode4，分别作为1、2的standby node。 把datanode2、3、4作为namenod 阅读全文

摘要： 在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。 一.问题描述 在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经这么做了，在spark 阅读全文