spark的DataFrame的schema模式：读时模式， 指定模式

读时模式#

    val path="/Volumes/Data/BigData_code/data/"
    //读取json生成dataframe
    val df = spark.read.format("json").load(path + "flight-data/json/2015-summary.json")
    df.printSchema()

读时模式是通过前几行的数据，来对各个列进行推断各个列的数据类型。优点是方便。但是，读时模式会造成精度损失。因为在前几行推断出是int类型，但是，实际是long类型。

指定模式#

方法1：使用StructType实现指定

    val path="/Volumes/Data/BigData_code/data/"
    //自定义schema模式
    val mySchema = StructType(Array(
      StructField("DEST_COUNTRY_NAME", StringType, true),
      StructField("ORIGIN_COUNTRY_NAME", StringType, true),
      StructField("count", LongType, false, Metadata.fromJson("{\"home\":\"world\"}"))
    ))
    //生成DataFrame
    val df = spark.read.format("json").schema(mySchema) //使用自定义的schema模式
      .load(path + "flight-data/json/2015-summary.json")
    df.printSchema()

方法2：使用case class实现指定

    val path="/Volumes/Data/BigData_code/data/"
    //自定义schema模式
    case class myClass (
         DEST_COUNTRY_NAME:String,ORIGIN_COUNTRY_NAME:String,count:Long
                           )
    val mySchema = Encoders.product[myClass].schema
    //生成DataFrame
    val df = spark.read.format("json").schema(mySchema) //使用自定义的schema模式
      .load(path + "flight-data/json/2015-summary.json")
    df.printSchema()

假如，不需要指定列名可以使用以下方法：

    val path="/Volumes/Data/BigData_code/data/"
    //自定义schema模式
    val mySchema = Encoders.product[(String, String, Long)].schema
    //生成DataFrame
    val df = spark.read.format("json").schema(mySchema) //使用自定义的schema模式
      .load(path + "flight-data/json/2015-summary.json")
    df.printSchema()

注意：这里有给默认的列名：_1,_2,_3。自己可以使用printSchema输出一下。