2019年7月17日
Spark- Spark从SFTP中读取zip压缩文件数据做计算
摘要： 我们遇到个特别的需求，一个数据接入的流程跑的太慢，需要升级为用大数据方式去处理，提高效率。 数据： 数据csv文件用Zip 压缩后放置在SFTP中 数据来源： SFTP 数据操作： 文件和它的压缩包一致，后缀不同。文件名中包含渠道、日期、操作标记("S"追加,"N"全量,"D"删除) 升级前的操作方 阅读全文
posted @ 2019-07-17 01:30 RZ_Lee 阅读(1109) 评论(0) 推荐(0) 编辑