Spark:读取hdfs的文本文件
spark读取hdfs上面的文件:
var textIn = sc.textFile("hdfs://localhost:9000/user/root/text.in")
保存文件到hdsf上:
textIn.map((_, 2)).saveAsTextFile("hdfs://localhost:9000/user/root/outdir")
spark读取hdfs上面的文件:
var textIn = sc.textFile("hdfs://localhost:9000/user/root/text.in")
保存文件到hdsf上:
textIn.map((_, 2)).saveAsTextFile("hdfs://localhost:9000/user/root/outdir")