张云临

摘要： 运行的环境要求Kafka 0.8.1.1+sbt 0.13.xJava 7+功能为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分... 阅读全文

摘要： 环境：kafka 0.8.1.1基本概念Kafka维护按类区分的消息，称为主题（topic）生产者（producer）向kafka的主题发布消息消费者（consumer）向主题注册，并且接收发布到这些主题的消息kafka以一个拥有一台或多台服务器的集群运行着，每一台服务器称为bro... 阅读全文

摘要： 1,先取cantk-runtime-demos到本地：git clone https://github.com/drawapp8/cantk-runtime-demos2,创建一个Android App(或者拷贝现有的项目)：cd cantk-runtime-demosandroi... 阅读全文

摘要： 运行环境 centOS6.6ansibleansible的功能还是比较多的，博主只用它在集群上进行批量部署软件和维护的功能，其他不多做研究，有需要的话这篇文章会慢慢补充。ansible特点轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；批量任务执行可以写... 阅读全文

摘要： spark on mesos 有粗粒度(coarse-grained)和细粒度(fine-grained)两种运行模式，细粒度模式在spark2.0后开始弃用。细粒度模式优点spark默认运行的就是细粒度模式，这种模式支持资源的抢占，spark和其他frameworks以非常细粒度... 阅读全文

摘要： 测试集群配置 60CPU,320G RAM测试内容：先运行一个需要60CPU的Application1,再运行一个需要50CPU的Application2。结果分析如果要等Application1全部执行完才执行Application2，说明资源是静态分配的（standalone模... 阅读全文

摘要： mesos解决的问题不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用导致效率下降,考虑到资... 阅读全文

摘要： 一.Mesos的安装和部署1.下载mesos源码和依赖包部署环境 centOS 6.6 mesos-0.21.0 spark-1.4.1因为mesos官方只提供源码，所以必须要自己进行编译安装使用添加meven源sudo wget http://repos.fedorapeople... 阅读全文

摘要： 一.概述 从1.3版本开始Spark SQL不再是测试版本，之前使用的SchemaRDD重命名为DataFrame,统一了Java和ScalaAPI。 SparkSQL是Spark框架中处理结构化数据的部分，提供了一种DataFrames的概念，同时允许在Spark中执行以SQL,HiveQL或... 阅读全文

摘要： 写了一年博客：2014-04-20，浑浑噩噩已经工作了快一年的我决定开始写Blog。最初是如何下定的决心已经记不清，开始时也仅仅是把博客当作一个笔记本，将学习过程记录下来。而且发表的文章没什么技术含量，也没人看。就这样坚持了两个月，这时自己的水平提高了些，而且积分也可以将文章发表到... 阅读全文