2019年12月6日
使用 pyarrow 将parquet转成spark能用的parquet
摘要： 最近发现spark的一个坑（发现时spark最新为2.4.4版本），spark对parquet格式有特殊要求，不支持带“uint8”类型的parquet https://github.com/apache/arrow/issues/1470 如何使用pyarrow把一个parquet转换一下呢？ i 阅读全文
posted @ 2019-12-06 18:43 爱知菜 阅读(51) 评论(0) 推荐(0) 编辑