摘要： https://kb.transwarp.cn/posts/1055 阅读全文

摘要： https://www.jianshu.com/p/2713e2679232 阅读全文

摘要： datax抽取mysql数据报错： [INFO] 2023-11-09 12:35:14.090 +0000 - -> 2023-11-09 20:35:13.492 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Excepti 阅读全文

摘要： 1. 通过命令行方式开启事务，当前session有效 set hive.support.concurrency = true; set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; s 阅读全文

摘要： Hive的ACID语义可以完成以下使用场景: 1、流数据的接入。许多用户都使用 Apache Flume, Apache Storm, or Apache Kafka 将流式数据导入Hadoop集群。 这些工具都是每秒百万行级的数据写入，而Hive只能每十五分钟到一个小时添加一次分区。快速的增加分区 阅读全文

摘要： hive3.0新特性： 1、不再支持MR取而用Tez查询引警且支持两种查询模式.Container 和 LLAP 2、Hive CLI不再支持(被beeline取代) 3、SQL Standard Authorization 不再支持，且默认建的表就已经是ACID表。 4、支持“批查询”(TEZ) 阅读全文

摘要： "job": { "setting": { "speed": { "channel": 3, "byte": 1048576 }, "errorLimit": { "record": 0, "percentage": 0.02 } } speed为同步速度限制参数，这里有三个参数channel、re 阅读全文

摘要： 一、背景 datax同步postgre库表数据到hive表，同步完成后select报错 java.io.IOException: java.lang.IllegalArgumentException: Bucket ID out of range: -1 二、代码 1.hive 建表语句 creat 阅读全文

摘要： 1、为人处世、团队协作、工作态度、工作理解能力、与领导的共情能力、善于表达自己。2、专业短板。请教工作经验更加丰富的同事。3、工作勤奋。4、遇到问题及时反馈。 阅读全文

摘要： 参考资料：https://blog.csdn.net/sinat_35197112/article/details/128256442 https://blog.csdn.net/weixin_45813468/article/details/126874997 后续有时间再整理一份 阅读全文