Spark基础+性能优化
摘要：
基础篇：https://tech.meituan.com/2016/04/29/spark-tuning-basic.html高级篇：https://tech.meituan.com/2016/05/12/spark-tuning-pro.html 阅读全文
posted @ 2022-01-06 12:55 滚动的蛋 阅读(33) 评论(0) 推荐(0)
Spark 写Hive指定动态分区
摘要：
1、设置 SparkSession.Builder builder = SparkSession .builder() .config(conf) .master("yarn") .config("hive.exec.dynamici.partition", true) .config("hive. 阅读全文
posted @ 2021-11-16 14:37 滚动的蛋 阅读(1256) 评论(0) 推荐(0)
Maven打包包含jar包
摘要：
<build> <resources> <resource> <directory>src/main/resources/assembly/</directory> <includes> <include>conf/**</include> </includes> <filtering>true</ 阅读全文
posted @ 2021-10-26 17:20 滚动的蛋 阅读(189) 评论(0) 推荐(0)
spark 通过keytab 获取认证
摘要：
/usr/local/spark-2.3.0-bin-2.6.0-cdh5.8.0/bin/spark-submit \ --keytab /home/jj/tl.keytab \ --principal vf@FC.COM \ --class com.bb.sailer.engine_client 阅读全文
posted @ 2021-09-15 18:37 滚动的蛋 阅读(574) 评论(0) 推荐(0)
Clickhouse 创建分布式表
摘要：
分布表包括逻辑表和物理表,，逻辑表就是表机构用于查询，物理表是实际存储数据的 drop table if exists o_vehicle_data_pre_charging_u_t ON CLUSTER 'ck_uat'; -- auto-generated definition 物理表 crea 阅读全文
posted @ 2021-09-14 18:11 滚动的蛋 阅读(1603) 评论(0) 推荐(0)
企业邮箱配置SSL发送邮件
摘要：
spring: mail: host: smtp.exmail.qq.com port: 465 default-encoding: UTF-8 username: xx@nx-engine.com password: xx # password: YaHqBDN3oRritarC #客户端密码 p 阅读全文
posted @ 2021-08-25 17:07 滚动的蛋 阅读(158) 评论(0) 推荐(0)
SSH and SSL/TLS
摘要：
SSH and SSL/TLS are employing Asymmetric cryptography. These security protocols are intended to keep your personal information private during data tra 阅读全文
posted @ 2021-03-16 16:41 滚动的蛋 阅读(477) 评论(0) 推荐(0)
Spring获取Bean工具类
摘要：
@Component public class SpringContextHolder implements ApplicationContextAware { private static ApplicationContext applicationContext; @Override publi 阅读全文
posted @ 2021-03-03 14:23 滚动的蛋 阅读(154) 评论(0) 推荐(0)
Mybaits Plus 使用saveorUpdateBatch 的注意事项，实现自增id且可手动输入id的方式
摘要：
1、使用Mybaits Plus 主键策略 IdType = auto 2、预期 主键策略： 指定数据的id，数据库中不存在按照指定id插入，如果没有给id，则使用数据库自增 3、结果 没有使用已经有的id，也没有使用数据库自增，生成了长度为19为的long类型id 4、分析 源码显示，如果id为空 阅读全文
posted @ 2021-01-28 17:49 滚动的蛋 阅读(30742) 评论(0) 推荐(0)
指定Java 实体字段序列化类型
摘要：
使用注解： @JsonSerialize(using = ToStringSerializer.class) @Data @ApiModel("跟进实体") public class FollowVo { @ApiModelProperty(value = "跟进id") @JsonSerializ 阅读全文
posted @ 2021-01-28 17:25 滚动的蛋 阅读(424) 评论(0) 推荐(0)
浙公网安备 33010602011771号