随笔分类 -  lynn

摘要:编译安装cmake-2.8.10.2thrift-0.8.0 (有可能需要--without-java)boost_thread 无奈下载了所有的boostboost_1_53_0.tar.gz解压之后运行./bootstrap.sh只安装最小的部分:./bjam --build-type=minimal --with-date_time --with-filesystem --with-program_options --with-regex --with-serialization --with-system --with-thread variant=release link=stati 阅读全文
posted @ 2013-03-19 17:06 zaleilynn 阅读(147) 评论(0) 推荐(0) 编辑
摘要:master的EventProcessor压力会不会太大?因为如果是一个RemoveEvent,它需要调用Worker的RPC KillExecutor,这个目前也是阻塞的调用。 阅读全文
posted @ 2013-03-06 14:13 zaleilynn 阅读(93) 评论(0) 推荐(0) 编辑
摘要:目前只有两个Trigger IdleTrigger和OverloadTrigger触发条件:OverloadTrigger: 1. 1分钟内这个框架的Executor平均cpu利用率高于0.8,IdleTrigger: 1. 5分钟内所有的这个Executor cpu利用率低于20,这些参数有待检验。 阅读全文
posted @ 2013-03-05 16:46 zaleilynn 阅读(133) 评论(0) 推荐(0) 编辑
摘要:目前 task id = executor id = vm id 阅读全文
posted @ 2013-03-03 15:05 zaleilynn 阅读(122) 评论(0) 推荐(0) 编辑
摘要:StartEvent将相应VC中的任务加入到run queue中 (作业开始执行时候,从VC的wait队列pop出来了,TaskAssigned仅仅改变了Task状态变量的值),FinishEvent同时删除了Task在相应VC和TaskPool中的结构FailEvent删除了Task在TaskPool中的结构(在相应VC中已经没有了,被pop出来了) 阅读全文
posted @ 2013-02-27 20:17 zaleilynn 阅读(171) 评论(0) 推荐(0) 编辑
摘要:任务的定义,指定的app在虚拟机里面运行起来了在这个定义下:executor启动了,只是开始处理这个任务。vm启动了,才代表任务启动了。所以,在这里,Master眼中的任务状态与VM的状态是一致的,executor只是负责执行的实体。 阅读全文
posted @ 2013-02-27 11:24 zaleilynn 阅读(147) 评论(0) 推荐(0) 编辑
摘要:添加虚拟集群流程:客户端填好VCInfo结构体(包括集群中单个虚拟机VMInfo)之后,调用MasterService::AddVC,该函数会构建VC的结构体中,插入VC池子中,并调用的Init函数,该函数初始化一个Task,插入Task池和Taskbuffer中等待调度。Task在Worker中创建一个虚拟机,并执行Task的过程:Master调用WorkerService的StartTask函数,该函数创建一个Executor结构,插入池中,等待线程Worker执行一个Task的流程:根据Task结构创建Executor结构,状态为EXECUTOR_WAIT,然后插入到ExecutorPo 阅读全文
posted @ 2013-02-23 14:11 zaleilynn 阅读(172) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示