2020年8月13日
Spark采坑记录(一)：json格式字符串转化为复杂数据结构
摘要： 前言 目前公司的批开发框架基于spark, 流式处理基于structure streaming和spark sql。 目前整体开发流程与大部分流式开发平台想法一致，将数据的ETL操作分割成独立功能的operator，其中采坑的部分与SqlOperator有关。 顾名思义，此operator的作用是将 阅读全文
posted @ 2020-08-13 23:47 Eric-Ln 阅读(2430) 评论(0) 推荐(0) 编辑