毛小娃

摘要： 豌豆夹Redis解决方案Codis源码剖析：Dashboard1.不只是Dashboard虽然名字叫Dashboard，但它在Codis中的作用却不可小觑。它不仅仅是Dashboard管理页面，更重要的是，它负责监控和指挥各个Proxy的负载均衡(数据分布和迁移)。并且，所有API... 阅读全文

摘要： 1.编译安装ipvsadm首先从LVS官网下载tarball，解压后make && make install即可。要注意的是LVS的依赖有：popt-static、libnl、kernel。如果yum源里有就直接安装，如果没有就自行下载，但一定要对应上已有软件如popt或Linux... 阅读全文

摘要： 简介KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面，用来实时监控Kafka的Consumer以及Partition中的Offset，可以在web界面直观的看到每个Partition的Message的增长速度，是否消费，是否阻塞等。使用如果不想编译... 阅读全文

摘要： 1.用户自定义schemadatajson串格式如下:{ "partner_code": "demo", "app_name": "web", "person_info": { "name": "张三", "age": 18 },... 阅读全文

摘要： 运行的环境要求Kafka 0.8.1.1+sbt 0.13.xJava 7+功能为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分... 阅读全文

摘要： 环境：kafka 0.8.1.1基本概念Kafka维护按类区分的消息，称为主题（topic）生产者（producer）向kafka的主题发布消息消费者（consumer）向主题注册，并且接收发布到这些主题的消息kafka以一个拥有一台或多台服务器的集群运行着，每一台服务器称为bro... 阅读全文

摘要： 运行环境 centOS6.6ansibleansible的功能还是比较多的，博主只用它在集群上进行批量部署软件和维护的功能，其他不多做研究，有需要的话这篇文章会慢慢补充。ansible特点轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；批量任务执行可以写... 阅读全文

摘要： spark on mesos 有粗粒度(coarse-grained)和细粒度(fine-grained)两种运行模式，细粒度模式在spark2.0后开始弃用。细粒度模式优点spark默认运行的就是细粒度模式，这种模式支持资源的抢占，spark和其他frameworks以非常细粒度... 阅读全文

摘要： 测试集群配置 60CPU,320G RAM测试内容：先运行一个需要60CPU的Application1,再运行一个需要50CPU的Application2。结果分析如果要等Application1全部执行完才执行Application2，说明资源是静态分配的（standalone模... 阅读全文

摘要： mesos解决的问题不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用导致效率下降,考虑到资... 阅读全文