摘要: 1.doris修改默认密码,初始密码为空(必须是以本用户登录才能修改本用户的密码) SET PASSWORD FOR 'root' = PASSWORD('123456'); 2.doris创建用户 #所有权限 create user 'doris_user' identified by '1234 阅读全文
posted @ 2024-08-23 14:12 whiteY 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 1.在“项目管理”>>"工作流定义" 里边创建工作流 2.选择flink_stream 3.选择安装flink服务的节点worker分组 程序类型选择 sql 4.在“脚本” 编写框输入 flink-sql主代码 5.选择flink版本,指定任务名称,配置资源参数 最后点击确认保存 6.在任务定义> 阅读全文
posted @ 2024-04-25 14:05 whiteY 阅读(1139) 评论(0) 推荐(0) 编辑
摘要: 问题描述 在dolphinscheduler创建调度任务,任务里边命令为 hadoop fs -mkdir -p /test/ 执行失败,报错信息如下: 问题分析 经排查该问题为dolphinscheduler配置的hadoop_home异常导致执行hadoop命令失败。 问题解决 配置dolphi 阅读全文
posted @ 2024-03-20 11:28 whiteY 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 水位线 Watermark 实时统计使用了flink sql程序,使用flink-TVF表值函数滚动窗口按分钟进行数据聚合操作,消费的kafka数据需要在规定的时间窗口内进行推送数据并消费计算, 为了解决处理乱序事件或延迟数据引入了Watermark,用来设置延迟计算时间等待迟到的数据,但不能无限期 阅读全文
posted @ 2024-03-08 10:12 whiteY 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 脚本内容如下 #!/bin/bash v_date=`date -d '+1 day' +%Y%m%d` delete_date=`date -d '-8 day' +%Y%m%d` end_date=`date -d '+3 day' +%Y%m%d` while [ $v_date != $en 阅读全文
posted @ 2024-03-05 11:00 whiteY 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 问题背景: 登录dolphinscheduler管理页面,打开监控中心大盘发现IP显示异常,不是自己主机的业务IP 问题分析: 显示的IP是主机的bond0的IP,不是业务ip所在bond,则需要修改bond配置 解决方案: 需要将network.interface修改成业务ip所在的bond1网卡 阅读全文
posted @ 2024-03-01 11:55 whiteY 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 问题背景: dolphinscheduler服务元数据库默认库名为dolphinscheduler,但是在一个数据库服务里边要创建安装部署两套dolphinscheduler服务那肯定得要两个不同的数据库名称进行区分,dolphinscheduler配置文件该怎么修改数据库名称? 页面配置: dol 阅读全文
posted @ 2024-03-01 11:44 whiteY 阅读(36) 评论(0) 推荐(0) 编辑
摘要: ambari服务集成dolphinscheduler服务 1.将需要集成到ambari的服务安装包放到该目录下 /var/lib/ambari-server/resources/stacks/HDP/3.1/services 2.重启ambari-server服务 sudo ambari-serve 阅读全文
posted @ 2024-03-01 11:22 whiteY 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 1.问题描述 部署完hbase之后启动服务发现报错,报错信息为hbase-ams-master.pid doesn‘t exist 2.问题排查 查看错误日志/var/log/hbase/hbase-hbase-master-khd-sd-b2k-hbase--ca83.out 和 hbase-hb 阅读全文
posted @ 2024-02-29 13:04 whiteY 阅读(46) 评论(0) 推荐(0) 编辑
摘要: 部署完hadoop服务组件之后,需要进行服务自动启动配置,在服务异常挂掉之后可自动启动避免人为干预。 阅读全文
posted @ 2024-02-29 12:51 whiteY 阅读(20) 评论(0) 推荐(0) 编辑