DolphinScheduler

DolphinScheduler

功能介绍

    文档：https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/guide/metrics/metrics.html
    租户：worker.properties   worker.tentant.auto.create=true  /
        /自动创建用户，启动worker必须有免密运行sudo
    告警租管理：包含多种告警实例
    告警实例：配置多种告警消息，微信，邮件等
    worker分组管理：同一个worker可以属于多个分组的
    环境管理：export hadoop_home=/opt/hadoop/......环境变量信息
        可以配置worker组、选择一个合适环境的组
    令牌认证：通过API访问DolphinScheduler的时候

工作流

    工作流定义：定义工作流。工作流实例：工作流历史运行的记录。
    任务实例：一个工作流里面有多个任务实例，可以看日志。

工作流定义

    优先级：起作用的时候是worker资源不足的时候。
    资源：上传的资源中心的作用
    工作流级别超时告警和单个节点的超时告警
    运行的时候：必须先上线。下线状态不能运行，上线状态不能编辑。
    失败策略：继续，失败。节点失败了，并行任务应该是继续还是失败。

参数

    本地参数：针对单个任务有效的参数
    全局参数：针对整个工作流有效的参数
    自定义参数：dt(参数名称) IN(给当前任务流传递参数) OUT(给下游任务流传递参数)
        使用自定义参数 ${dt} IN VARCHAR ${YYYYMMDD}   工作流保存的时候可以设置全局变量
    给下游传递传输：(仅支持：Shell、SQL、Procedure)  
        上一个节点  echo '${setValue(bb=20200601)}'   自定义参数 bb OUT  
    参数优先级：本地参数>上游任务传递参数>全局参数    上有参数相同的时候：下游优先使用非空+完成时间最早的参数
    内置参数：${system.biz.date}定时时间前一天yyyyMMdd  ${system.biz.curdate}定时时间yyyyMMdd  
        ${system.datetime}定时时间yyyyMMddHHmmss
        日期格式：$[yyyyMMddHHmmss]分解和组合    $[add_mouths(yyyyMMddHHmmss,-3)]前三月   
        $[yyyyMMddHHmmss-5]前五天   $[HHmmss-5/24]前五个小时    $[HHmmss-5/24/60]前五分钟

文件资源

    默认会放在hdfs上，资源中心创建资源以后，就可以在固定节点上使用该资源
    直接使用资源的名称就可以。资源叫data.sh  代码里面就直接  sh data.sh 选中资源即可

#