通过dataframe相关算子操作创建dataset

说明

1. 使用Dataframe相关算子进行转换的来 都需要引入sparksession的隐式转换内容
2. map算子 将原有的Dataset的每一行数据进行转换 得到一个新的数据类型 就是新的Dataset的类型
   flatMap算子 将原有的Dataset的每一行数据进行压扁操作 得到一个集合数据类型 集合数据就是新的Dataset的类型
3. DataFrame中SQL操作算子都返回是一个Dataset结果集,除了select和selectExpr

代码

package SparkSQL.DataSet

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}

/**
 * Dataset的第四种创建方式：
 *    使用Dataframe相关算子进行转换的来  都需要引入sparksession的隐式转换内容
 *       map算子  将原有的Dataset的每一行数据进行转换 得到一个新的数据类型 就是新的Dataset的类型
 *       flatMap算子  将原有的Dataset的每一行数据进行压扁操作 得到一个集合数据类型   集合数据就是新的Dataset的类型
 *      DataFrame中SQL操作算子都返回是一个Dataset结果集,除了select和selectExpr
 */
object BySuanZiCreateDataset {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("demo04").setMaster("local[*]")
    val session = SparkSession.builder().config(sparkConf).getOrCreate()
    val seq:Seq[(String,Int)] = Array(("zs",20),("ls",20),("ww",20))

    val dataFrame:DataFrame = session.createDataFrame(seq)


    import session.implicits._
    val dataset: Dataset[(String, Int)] = dataFrame.map(row => {
      ((row.getAs[String](0), row.getAs[Int](1)))
    })
    dataset.show()

    val frame: DataFrame = session.read.text("hdfs://node1:9000/wc.txt")
    frame.show()
    val dataset1: Dataset[String] = frame.flatMap(row => {
      val line = row.getAs[String](0)
      val array = line.split(" ")
      array
    })
    dataset1.show()
  }
}