摘要: 一、场景 目前使用s3替代hdfs作为hive表数据存储,使用spark sql insert数据到hive表,发现一个简单的查询+插入任务,查询+insert的动作显示已经执行完,任务还在跑,直到跑了两个小时后才执行结束。 二、原因 s3对spark默认的commit操作兼容性不强,spark有两 阅读全文
posted @ 2022-10-13 17:37 wss96 阅读(259) 评论(0) 推荐(0) 编辑
摘要: springboot异步线程池配置 package com.sangfor.api.config; import org.springframework.aop.interceptor.AsyncUncaughtExceptionHandler; import org.springframework 阅读全文
posted @ 2022-10-13 10:33 wss96 阅读(418) 评论(0) 推荐(0) 编辑
摘要: 下面案例是配置多数据源,两个及以上,但是主数据源只能是一个,默认mybatis使用的是主数据源 下面配置mysql为主数据源,通过注解@Primary标注 yaml文件配置: spring: datasource: mysqlMain: #mysql主数据源,可关联mybatis type: com 阅读全文
posted @ 2022-10-13 10:28 wss96 阅读(1369) 评论(2) 推荐(0) 编辑