文章分类 -  Spark

介绍Spark应用以及原理
ORC文件存储原理以及Spark读写ORC问题解决方法
摘要：1、 概述 Spark作为一个常用的数据处理引擎，经常被用做对Hive中的离线数据进行处理并回写到Hive的场景。Hive表格数据存储类型有text，orc和parquet三种类型。其中orc类型以其压缩比例高，文件可切分以及列式存储等优点被广泛使用。但是如果Spark的中的orc写入版本与Hive 阅读全文
posted @ 2024-01-29 19:17 虎啸千峰 阅读(1332) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示