摘要: 一、问题现象 SparkSQL创建多个session报错,不能创建一个链接,链接Spark自带的数据库derby 2024-01-25 19:50:59.053 [INFO ]24/01/25 19:50:59 INFO !PLExecution!: Execute SQL: DROP TABLE 阅读全文
posted @ 2024-01-29 19:38 虎啸千峰 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 1、 概述 Spark作为一个常用的数据处理引擎,经常被用做对Hive中的离线数据进行处理并回写到Hive的场景。Hive表格数据存储类型有text,orc和parquet三种类型。其中orc类型以其压缩比例高,文件可切分以及列式存储等优点被广泛使用。但是如果Spark的中的orc写入版本与Hive 阅读全文
posted @ 2024-01-29 19:17 虎啸千峰 阅读(1170) 评论(0) 推荐(0) 编辑