记一次storm提交任务遇到的坑

摘要:主要是自己没有真正理解storm jar命令参数的意义。

 

情景复现:

  在storm集群中使用命令提交后,在UI界面中,一直看不见任务提交上来的任务,但是在集群提交的shell界面中,是可以看到相关任务的日志输出情况的。

  下面是导致任务提交不上去的代码:

    解释:storm jar xxxxxxx.jar com.主函数名   

       在storm集群中使用此命令进行提交时,jar包后面是需要输入主函数的。

if (args.length < 1) {
  LocalCluster cluster
= new LocalCluster(); //在本地运行 cluster.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology());
}
else { StormSubmitter.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology()); }

  此代码中的args你可能会和我一样,理解成是输入的主函数的路径,就理解成在提交时输入了主函数,这儿就不小于1了,就是在集群上运行了。

  但是,实际的情况是,你在集群上,提交任务时,后面输的主函数的路径,不代表你从控制台输入的参数个数。(有点绕,自己多做两次实验就可以了)

  如果想要使用上面的方法:正确的姿势是:storm jar xxxxxxx.jar com.主函数名 随便再输入一个参数(我这儿的配置文件等,不是从控制台获取,随便输入没有任何实际意义)

 就可以使用上面的方法了。

 

posted @ 2018-12-09 13:39  NLBSN  阅读(643)  评论(0编辑  收藏  举报