2021年5月21日
spark读取压缩文件
摘要： spark读取压缩文件，对同一个压缩文件内文件进行分布式处理，粒度：文件级 -| .rar.gz -| .gz -| .zip -| .zip -| .gz -| .zip 使用 sc.binaryFile()得到-> JavaPairRDD<String,PortableDataStream> k 阅读全文
posted @ 2021-05-21 09:56 carsonwuu 阅读(817) 评论(0) 推荐(0) 编辑