2019年4月12日
spark小文件合并解决多级分区
摘要： package spark10.access import java.text.SimpleDateFormatimport java.util.Date import org.apache.hadoop.fs.{FileSystem, Path}import org.apache.log4j.Lo 阅读全文
posted @ 2019-04-12 11:09 何国秀_xue 阅读(1183) 评论(0) 推荐(0) 编辑
spark解决text乱码问题
摘要： package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.{SparkConf, SparkC 阅读全文
posted @ 2019-04-12 09:03 何国秀_xue 阅读(1778) 评论(0) 推荐(0) 编辑
spark解决josn乱码问题
摘要： package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.sql.hive.HiveConte 阅读全文
posted @ 2019-04-12 09:03 何国秀_xue 阅读(578) 评论(0) 推荐(0) 编辑