丹江湖畔养蜂子的赵大爹

摘要： 我们的调度任务经常会有上下文依赖的情况。本文将配置下面这种拓扑结构的调度任务。 例如：simple_test_job >simple_test_job2 >simple_test_job3-sub1 | | >simple_test_job3-sub2 | | > simple_test_job4 阅读全文

摘要： 这里配置一个简单的统计任务，调用我们的任务计算的shell脚本（前提：任务计算脚本所在项目代码已经被分发的调度系统的服务器制定位置上了）。 本文的配置的任务可以在测试机器如下地址查看：http://192.168.53.100:8090/jenkins/view/%E6%B5%8B%E8%AF%95 阅读全文

摘要： 有任务要上线时，需要将任务所在的项目代码从git上取出，在调度系统中编译打包，分发大任务执行服务器上。 具体的任务可以参考：http://192.168.53.100:8090/jenkins/view/%E9%A1%B9%E7%9B%AE%E5%8F%91%E5%B8%83/job/Mtime_pro_host_deploy/ （1）新建任务： 新建一个自由风格任务： （2） 进... 阅读全文

摘要： oozie调度系统调研 1. 关于oozie的简单说明 1. oozie应用程序目录结构说明： 一个完整的oozie应用程序一般情况下至少包含三个文件及目录：job.properties、workflow.xml、lib（lib表示为用来存放程序运行需要的jar包，非必需） 2. flow node 阅读全文

摘要： xshell更改终端窗口目录展示深蓝色的不易分辨 经常使用xshell远程连接服务器，使用ls命令，目录的颜色都是深蓝色， 如果终端窗口背景颜色是黑色的（对眼睛较好的黑色的背景色，大家一般都选择黑色背景），想要认清深蓝色的目录，比较费劲。可以通过如下方法修改。 点击 “文件” “属性” "外观" 配 阅读全文

摘要： storm kafka组件中KafkaOffsetMetric相关统计指标说明 storm kafka是storm提供的一个读取kakfa的组件，用于从kafka队列中消费数据。KafkaOffsetMetric是storm kafka中关于消费状态的Metric。本文将介绍KafkaOffsetM 阅读全文

摘要： kafka集群扩容后的topic分区迁移 kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面； 所以需要将一些topic的分区迁移到新的broker上。 kafka 阅读全文

摘要： （二）Kafka动态增加Topic的副本(Replication) 1. 查看topic的原来的副本分布 [hadoop@sdf nimbus perf ~]$ le kafka topics.sh describe topic http_zhixin_line1 Topic:http_zhixin 阅读全文

摘要： （一）kafka修改topic分区的位置 环境：kafka_2.10 0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 结果如下： [hadoop@sdf nimbus perf project]$ le kafka topics.sh describe topic h 阅读全文

摘要： 1. 找到文件并作如下修改：vim /etc/network/interfaces修改如下部分：# interfaces(5) file used by ifup(8) and ifdown(8)auto loiface lo inet loopbackauto eth0iface eth0 ine 阅读全文