sichenzhao

摘要： 整个slsruner从main函数开始： public static void main(String[] argv) throws Exception { exitAtTheFinish = true; ToolRunner.run(new Confi... 阅读全文

摘要： SLS的缺点在于输入过于单一和简单，没有实时输入的接口。因此有个想法：将SLS拓展，使之能接收AM的allocate_request一类的信号。拓展其输入。同时拓展输出的数据，也就是metrics，使数据能够反映调度算法的好坏，比如方差等数据。接下来全力做这个项目，进... 阅读全文

摘要： 在上篇博文：Hadoop3.0.3-SYNTH运行，SYNTH由于NULL user导致错误。当时以为是hadoop的源码没有写好，但仔细研究后发现，可以在SYNTH的json文件中增加user。也就是说官网给出的synth的json文件是不完整的。下面给出可以完美运... 阅读全文

摘要： hadoop的迭代实在太快，导致出现很多bug。在运行SYNTH模式时。发现两个问题。1.官方给出的SYNTH的json脚本：{ "description" : "tiny jobs workload", //description of the meanin... 阅读全文

摘要： 在运行slsrun.sh时，报错如下：ERROR sls.SLSRunner: Failed to create an AM: Can't find the queue by the given name: sls_queue_1! Please check if q... 阅读全文

摘要： 运行slsrun.sh时报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector.TimelineCollector ... 阅读全文

摘要： apache在18年5月底发布hadoop3.0.3，但bug好像更多了。运行rumen2sls.sh，将rumen转化为sls文件时，报错：错误: 找不到或无法加载主类 org.apache.hadoop.yarn.sls.RumenToSLSConverte解决方... 阅读全文

摘要： RM是scheduler的执行者：SLSrunner.javaprivate void startRM() throws ClassNotFoundException, YarnException { Configuration rmConf = new Yar... 阅读全文

摘要： 对于几台到几十台机器组成的超小集群，可以采用sls或者rumen的文件方式输入，也就是runsls.sh后加参数--input-sls。但如果要模拟1000的中等集群甚至5000以上的大集群，手动修改sls或者rumen文件显然太不现实。hadoop社区一开始也没有考... 阅读全文

摘要： 在NMSimulator.java中： public void middleStep() throws Exception { // we check the lifetime for each running containers ContainerS... 阅读全文