2023年2月27日
Spark DataSource 源码解析
摘要： SparkSession.read() 创建DataFrameReader对象，进行数据读取任务。 DataFrameReader format schema option json、csv、text… 通过format函数设置格式，并调用load函数加载数据。 load 调用DataSource. 阅读全文
posted @ 2023-02-27 16:50 江东邮差 阅读(309) 评论(0) 推荐(0) 编辑
Spark DataSource API 分析
摘要： 1.么是Spark Datasource API Spark Datasource API 是一套连接外部数据源和Spark引擎的框架它主要是给Spark框架提供一种快速读取外界数据的能力，它可以方便地把不同的数据格式通过DataSource API注册成Spark的表，然后通过Spark SQL直 阅读全文
posted @ 2023-02-27 15:45 江东邮差 阅读(103) 评论(0) 推荐(0) 编辑