摘要:
1.doris修改默认密码,初始密码为空(必须是以本用户登录才能修改本用户的密码) SET PASSWORD FOR 'root' = PASSWORD('123456'); 2.doris创建用户 #所有权限 create user 'doris_user' identified by '1234 阅读全文
摘要:
1.在“项目管理”>>"工作流定义" 里边创建工作流 2.选择flink_stream 3.选择安装flink服务的节点worker分组 程序类型选择 sql 4.在“脚本” 编写框输入 flink-sql主代码 5.选择flink版本,指定任务名称,配置资源参数 最后点击确认保存 6.在任务定义> 阅读全文
摘要:
问题描述 在dolphinscheduler创建调度任务,任务里边命令为 hadoop fs -mkdir -p /test/ 执行失败,报错信息如下: 问题分析 经排查该问题为dolphinscheduler配置的hadoop_home异常导致执行hadoop命令失败。 问题解决 配置dolphi 阅读全文
摘要:
水位线 Watermark 实时统计使用了flink sql程序,使用flink-TVF表值函数滚动窗口按分钟进行数据聚合操作,消费的kafka数据需要在规定的时间窗口内进行推送数据并消费计算, 为了解决处理乱序事件或延迟数据引入了Watermark,用来设置延迟计算时间等待迟到的数据,但不能无限期 阅读全文
摘要:
脚本内容如下 #!/bin/bash v_date=`date -d '+1 day' +%Y%m%d` delete_date=`date -d '-8 day' +%Y%m%d` end_date=`date -d '+3 day' +%Y%m%d` while [ $v_date != $en 阅读全文
摘要:
问题背景: 登录dolphinscheduler管理页面,打开监控中心大盘发现IP显示异常,不是自己主机的业务IP 问题分析: 显示的IP是主机的bond0的IP,不是业务ip所在bond,则需要修改bond配置 解决方案: 需要将network.interface修改成业务ip所在的bond1网卡 阅读全文
摘要:
问题背景: dolphinscheduler服务元数据库默认库名为dolphinscheduler,但是在一个数据库服务里边要创建安装部署两套dolphinscheduler服务那肯定得要两个不同的数据库名称进行区分,dolphinscheduler配置文件该怎么修改数据库名称? 页面配置: dol 阅读全文
摘要:
ambari服务集成dolphinscheduler服务 1.将需要集成到ambari的服务安装包放到该目录下 /var/lib/ambari-server/resources/stacks/HDP/3.1/services 2.重启ambari-server服务 sudo ambari-serve 阅读全文