azkaban报错记录
问题信息:
Failed to build job executor for job o2o_get_file_ftp1Job type 'command ' is unrecognized. Could not construct job
问题背景:
搭建azkaban完成后,第一次执行任务时报错
问题原因:
参考这篇知乎:https://zhuanlan.zhihu.com/p/22254898
解决办法:
最后在 /azkaban-solo-server/plugins 目录下找到文件,将plugins文件夹 cp-r 到azkaban-web-server和azkaban-exec-server 目录下,重启azkaban
该问题解决,但是出现了一个新的问题:
Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job o2o_get_file_ftp1, sleep for 60 secs and retry, attempt 2 of 720
问题原因:
azkaban默认需要3G的内存,剩余内存不足则会报异常
解决办法:
将
azkaban-web-server/plugins/jobtypes/commonprivate.properties
和
azkaban-exec-server/plugins/jobtypes/commonprivate.properties
中添加:memCheck.enabled=false
或者重启大发(可暂时解决)