随笔分类 -  大数据

ds调度mssql多个T-SQL语句同步阻塞实现
摘要：ds调度mssql多个T-SQL语句,默认异步非阻塞，发送到mssql服务器即认为任务成功，立马开始节点的下一个任务；导致依赖失效，数据产出异常，上一个任务没正常跑完，下一个任务就开始了； 解决方案： 多个T-SQL语句，包装到一个存储过程中。ds再调度该过程，实现同步阻塞。 阅读全文
posted @ 2025-10-05 11:19 自在现实 阅读(10) 评论(0) 推荐(0)
dolphin sch 调度 spark任务
摘要：ssh user@xxx.x.x.x << 'EOF' /xxx/bin/spark-submit --class xxx.T3 --master yarn /xxx/SparkCore-1.0-SNAPSHOT.jar /input /output EOF user是远程主机用户，需要首先 ssh 阅读全文
posted @ 2025-09-14 16:05 自在现实 阅读(7) 评论(0) 推荐(0)
DS http告警配置
摘要：{"Content-Type":"application/json"} 阅读全文
posted @ 2025-07-11 16:52 自在现实 阅读(11) 评论(0) 推荐(0)
Maxwell 监控多个数据库
摘要：使用配置文件启动 bin/maxwell --config ./config.properties 测试kafka数据 bin/kafka-console-consumer.sh --bootstrap-server xx:9092 --topic topic_xx --from-beginning 阅读全文
posted @ 2025-01-26 16:11 自在现实 阅读(51) 评论(0) 推荐(0)
Maxwell mysqlbinlog位置异常
摘要：com.github.shyiko.mysql.binlog.network.ServerException: Could not find first log file name in binary log index file 办法一 ：删除mysql里面 maxwell 数据库，重新创建 办法 阅读全文
posted @ 2025-01-26 16:10 自在现实 阅读(69) 评论(0) 推荐(0)
dolphinscheduler 创建 mssql 数据源失败解决
摘要：解决方法：在参数处加入 {"encrypt":"false","trustServerCertificate":"true"} 现象： [ERROR] 2025-01-11 10:44:36.821 +0800 org.apache.dolphinscheduler.plugin.datasourc 阅读全文
posted @ 2025-01-11 10:59 自在现实 阅读(503) 评论(0) 推荐(0)
DATAX 任务环境配置
摘要：在web安全中心配置datax环境如下，datax任务选择该环境： eg1: export PYTHON_LAUNCHER=/usr/bin/python export JAVA_HOME=/opt/module/jdk-17.0.10 export DATAX_LAUNCHER=/opt/modu 阅读全文
posted @ 2025-01-10 15:52 自在现实 阅读(60) 评论(0) 推荐(0)
DS mysql数据源jar包要求
摘要：DS 3.18 默认 mysql 驱动类是 com.mysql.cj.jdbc.Driver。 （mysql-connector-j-8.0.31.jar） 因此 需要放8版本的jar包。 放5版本 jar 包报错，无法建立数据源。(mysql-connector-java-5.1.49.jar) 阅读全文
posted @ 2024-12-28 09:30 自在现实 阅读(33) 评论(0) 推荐(0)
DataX同步sqlserver到mysql中文乱码 解决方案
摘要：连接增加参数： sqlserver:characterEncoding=UTF-8 mysql:useSSL=false&useUnicode=true&characterEncoding=utf8 阅读全文
posted @ 2024-12-27 13:50 自在现实 阅读(92) 评论(0) 推荐(0)
大数据技术
摘要：首先，从 Hadoop 开始入门学习，因为它是整个大数据生态圈的基石，其它框架都直接或者间接依赖于 Hadoop。Hadoop 包括：分布式文件系统 HDFS、计算框架 MapReduce、资源调度 YARN。 接下来，更加深入学习主流的混合处理框架 Spark 和 Flink。 其次，Zookee 阅读全文
posted @ 2024-04-19 13:23 自在现实 阅读(36) 评论(0) 推荐(0)