spark读写文件
val path="/Volumes/Data/BigData_code/data/retail-data/by-day/2010-12-01.csv"
spark.read.format("csv").option("header", "true").option("inferSchema", "true")
.load(path)
对于gz文件的读取,注意(这里讲的txt压缩成gz文件)
//方法1
val sourceDF = spark.read.option("delimiter", "\t").schema(sourceSchema).format("csv").load(output)
//方法2
// val sourceRDD =
// sc
// .textFile(output, 20)
// .map(_.split("\t"))
// .filter(_.length==8)
// .map(splits => {
// (splits(0), splits(1), splits(2), splits(3), splits(4).toLong, splits(5).toLong, splits(6).toLong, splits(7).toLong)
// })
// val sourceDF =sourceRDD
// .toDF("key", "fpdn", "date", "ip", "ipLong", "requentCnt", "firstSeen", "lastSeen")
注意分隔符:不同的文件可能会有不同的分隔符。在spark.read中默认的分隔符为‘,’逗号。如果是其他的需要自己设置:
val sourceDF = spark.read.option("delimiter", "\t") //使用delimiter设置成‘\t'
.schema(sourceSchema).format("csv").load(output)
这里使用的是delimiter。
如果是方法2,直接textFile的line直接split("\t")