通过外部存储文件创建Dataset, Dataset只支持纯文本文件
1. 注意
1. 通过外部存储文件创建Dataset,dataset只支持纯文本文件。
2. 虽然说Dataset不支持其他格式的结构化文件,但是可以把结构化文件创建成DataFrame,然后把DataFrame转换Dataset。
3. textFile算子创建出来的Dataset是一个字符串类型,只有一列,一列就是文件中一行数据。
2. 代码
package SparkSQL.DataSet
import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}
/**
* 通过外部存储文件创建Dataset dataset只支持纯文本文件
* 虽然说Dataset不支持其他格式的结构化文件,但是我们可以曲线救国
* 向把结构化文件创建成DataFrame 然后把DataFrame转换Dataset
* textFile算子创建出来的Dataset是一个字符串类型,只有一列 一列就是文件中一行数据
*/
object ByFileCreateDataset {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setAppName("demo01").setMaster("local[*]")
val session = SparkSession.builder().config(sparkConf).getOrCreate()
val map =Map("mode"->"FAILFAST","inferSchema"->"true")
val dataset: Dataset[String] = session.read.options(map).textFile("hdfs://node1:9000/student.txt")
dataset.show()
/*
val frame: DataFrame = session.read.options(map).csv("xxx")
val value: Dataset[Row] = frame.as("列名alias")
*/
}
}
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16639342.html