DolphinScheduler 功能开发:⼯作流级别任务空跑(后端),测试工作流是否正确执行...
点击上方 蓝字关注我们
✎ 编 者 按
在今年由中国科学院软件研究所主办的开源软件所供应链点亮计划-开源之夏活动中,有不少小伙伴提交了关于 DolphinScheduler 的项目,本期是来自成都信息工程大学的张树坤带来的项目经验分享。
项目总体设计为设置工作流为空跑状态,以测试整个工作流执行是否正确功能的开发。该功能通过 flag 标记在 Matser 与 Server 间的传递实现,同时考虑到系统的容错设计。难点在于涉及系统的核心处理流程,Master 执行 Scheduler 处理工作流的 DAG,Worker 获取任务负责具体的执行,两者通过 Zookeeper 进 行通信。该项目使用 SpringBoot 框架,使用 Java 语言进行开发。
项目名称
⼯作流级别任务空跑(后端)
项目方案描述
1. 修改数据表
在以下数据表中增加空跑字段。
1. t_ds_command
2. t_ds_error_command
3. t_ds_process_instance
4. t_ds_task_instance
2. api模块的接⼝修改
1. ExecutorController:startProcessInstance接⼝增加空跑DryRun参数
ExecutorService:execProcessInstance⽅法增加空跑参
ExecutorServiceImpl:execProcessInstance:增加形参并修改逻辑
ExecutorServiceImpl:createCommand:增加形参并修改逻辑
2. TaskInstanceController:在list-paging的返回值中增加空跑参数,所以只需在Mapper.xml中增加查询的字段值
3. ProcessInstanceController:在list-paging的返回值中增加空跑参数,只需要在对于xml⽂件的queryProcessInstanceListPaging增加查询参数
4. 测试类:修改ExecutorControllerTest及ExecutorService2Test中的测试⽅法,通过测试
3. dao模块修改
1. entity:在以下实例类中增加dryRun字段,相应的Getter和Setter,修改构造⽅法、toString等
a. Command
b. ErrorComand
c. ProcessInstance
d. TaskInstance
2. mapper:相关查询中增加空跑字段
a. CommandMapper.xml
b. ProcessInstanceMapper.xml
c. TaskInstanceMapper.xml
4. server模块修改
1. master包:
a. MasterExecThread:createTaskInstance:把空跑字段由processInstance传递到taskInstance
2. worker包:
a. TaskExecuteThread:**跳过空跑的实际逻辑位置**,根据空跑标记跳过实际执⾏部分,直接把状态修改为成功
5. service模块修改
1. process包:
a. ProcessService:调⽤Command构造⽅法的地⽅增加空跑字段
b. 测试类ProcessServiceTest:增加空跑字段使测试通过
6. 容错处理
实际上就是在上述两个.xml⽂件中,在查询时增加空跑字段,就能分别保证master和worker容错。(已经在server模块中进⾏了修改)
时间规划
时间(周) | 要完成的⼯作 |
1 | 搭建本地开发环境,建⽴本地数据库,与导师交流沟通项⽬细节 |
2 | 完成增加相关api的空跑字段并进⾏功能测试 |
3 | 完成流程定义到流程实例,流程实例到任务实例空跑标记的传递并进⾏测试 |
4 | 完成流程、任务实例增加空跑字段后持久化到数据库、任务执⾏时跳过实际 执⾏ |
5 | 完成master和worker的容错设计并测试 |
6(中期审核8.15) | 完成前期安排中未完成的任务 |
7 | 与前端交接,进⾏接⼝和功能测试,修复bug |
8 | 与前端交接,进⾏接⼝和功能测试,修复bug |
9 | 编写整体流程的测试,修复bug |
10 | 整理源码并提交pull Request |
11-12 | 进⼀步参与社区其他issue问题的修复 |
项目总结
项目产出
在开发⼯作流时,对于较为复杂的依赖关系,可以设置⼯作流为空跑状态,以测试整个⼯作流执⾏是否正确。查看/修改⼯作流、查看⼯作流实例、任务列表接⼝,增加是否空跑字段,Master节点调⽤Worker节点时,新增是否空跑字段 ,Worker节点判断是否空跑标记,空跑则打印⽇志,直接按成功处理。
项⽬的pr链接:https://github.com/apache/dolphinscheduler/pull/6104
下⾯是运⾏截图:
方案进度
遇到的问题及解决⽅案
1. 在TaskExecuteThread中编写世纪跳过空跑部分的代码时,需要获取TaskInstance的空跑字段值, 我考虑通过id使⽤ProcessService提供的findTaskInstanceById⽅法查询taskInstace实例,但是使⽤注解进⾏注⼊却发现产⽣了空指针异常,获取不到ProcessService这个bean。
经过阅读报错信息和查询资料,发现原因是在多线程环境下,单独开的线程中不能使用@Autowired等注解注⼊对象,从⽽导致 java.lang.NullPointerException。应该从 Spring 容器中获取该对象进⾏引⽤。
2. 在pull到最新版代码的时候,发现⽆法启动master,但是通过阅读报错信息没有找到解决⽅法,排 除 了很多种可能性,最后通过打开了配置⽂件的注解,就可以顺利运⾏。
官⽹的⽂件应该更新⼀下这⾥,我觉得应该还会有⼈踩坑吧hh
通过这个启动问题,梳理了jvm加载配置⽂件的思路,弄清楚了导致问题的原因。我重写git clone⼀份新代码复现这个问题的时候,发现仍会有⼀个找不到target/classes的报错,于是我使⽤maven install把dolphinscheduler-registry-plugin编译后,问题解决。
3. 空跑字段使⽤int类型⽽不是包装类型Integer,因为使⽤int默认值为0⽽使⽤Integer默认为null,可 能会导致⼀些问题,⼀般情况下默认都是使⽤int类型。
4. worker启动时报错的解决⽅案,把worker.properties⽂件改成下⾯的样⼦,就可以正常运⾏:
#task.plugin.dir=lib/plugin/task
#maven.local.repository=/Users/localRepository
#task.plugin.binding config the task plugin need be load when development and
run in IDE
task.plugin.binding=./dolphinscheduler-task-plugin/dolphinscheduler-task-
shell/pom.xml,./dolphinscheduler-task-plugin/dolphinscheduler-task-
python/pom.xml,./dolphinscheduler-task-plugin/dolphinscheduler-task-
sql/pom.xml,./dolphinscheduler-task-plugin/dolphinscheduler-task-
procedure/pom.xml,./dolphinscheduler-task-plugin/dolphinscheduler-task-
http/pom.xml,./dolphinscheduler-task-plugin/dolphinscheduler-task-
datax/pom.xml,./dolphinscheduler-task-plugin/dolphinscheduler-task-
tis/pom.xml,./dolphinscheduler-task-plugin/dolphinscheduler-task-
sqoop/pom.xml
项目完成质量
基本完成项⽬的⽬标,在写代码过程中产⽣的问题也得到了解决,⾃我评价良好。
与导师沟通及反馈情况
这⼀个阶段的参与我深刻认识到了沟通交流的重要性,感谢⽼师细致和不厌其烦的解答,⽼师的指导起到了决定性和⽅向性的作⽤。虽然导师本职⼯作也⽐较忙,但是仍然抽出时间和我们交流,给我们学习和参加校招以及⼯作上的建议,让我感觉很有收获。
社区官网
https://dolphinscheduler.apache.org/
代码仓地址https://github.com/apache/dolphinscheduler
您的 Star,是 Apache DolphinScheduler 为爱发电的动力❤️ ~
任何 DolphinScheduler 相关分享
欢迎添加社区小助手微信投稿
(Leonard-ds)
☞DolphinScheduler 在绿瘦的实践成果,开启了我的开源之路!
☞欧洲研究机构 MERICS:中国开发者是 GitHub 第二大多产贡献者群体,迎头赶上世界一流水平!
☞最佳实践 | 联通数科基于 DolphinScheduler 的二次开发
☞DolphinScheduler 荣获 2021 中国开源云联盟优秀开源项目奖!
☞议题征集令 | Apache DolphinScheduler Meetup 2021 来啦,议题征集正式开启!
☞重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多!
点击阅读原文,加入开源!
点个在看你最好看