毛小娃

摘要： 环境centOS6.6 gmetad节点关闭iptablegmetad和httpd只需要在一台节点安装，gmond需要在每台节点上安装。一.安装epel源sudo wget http://download.fedoraproject.org/pub/epel/6/i386/epel... 阅读全文

摘要： Redis Cluster架构优化在《全面剖析Redis Cluster原理和应用》中，我们已经详细剖析了现阶段Redis Cluster的缺点：无中心化架构 Gossip消息的开销不停机升级困难无法根据统计区分冷热数据客户端的挑战 Cluster协议支持连接和路由表的维护开销Mu... 阅读全文

摘要： 在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经... 阅读全文

摘要： 在大量数据中对一些字段进行关联。举例ipTable：需要进行关联的几千条ip数据(70k) hist：历史数据（百亿级别） 直接join将会对所有数据进行shuffle，需要大量的io操作，相同的key会在同一个partition中进行处理，任务的并发度也收到了限制。使用broad... 阅读全文

摘要： 1.几种缓存数据的方法例如有一张hive表叫做activity1.CACHE TABLE//缓存全表sqlContext.sql("CACHE TABLE activity")//缓存过滤结果sqlContext.sql("CACHE TABLE activity_cached a... 阅读全文

摘要： 与map方法类似，map是对rdd中的每一个元素进行操作，而mapPartitions(foreachPartition)则是对rdd中的每个分区的迭代器进行操作。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元素创建一个链接... 阅读全文

摘要： 全面剖析Redis Cluster原理和应用1.Redis Cluster总览1.1 设计原则和初衷在官方文档Cluster Spec中，作者详细介绍了Redis集群为什么要设计成现在的样子。最核心的目标有三个：性能：这是Redis赖以生存的看家本领，增加集群功能后当然不能对性能产... 阅读全文

摘要： 升级python到2.7后$ ansible报错Traceback (most recent call last): File "/usr/bin/ansible", line 36, in from ansible.runner import RunnerImportE... 阅读全文

摘要： 操作系统内核Hack：(一)实验环境搭建三四年前，心血来潮，入手《Orange’s：一个操作系统的实现》学习操作系统内核，还配套买了王爽的《汇编语言（第二版）》和《80X86汇编语言程序设计教程》，虽然Orang’s只看了不到三分之一，但当时还是很认真的，练习也做了不少。唯一遗憾的... 阅读全文

摘要： spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip... 阅读全文