Spark scala String Array转为String

val rddFromFile = spark.sparkContext.textFile("test.txt").collect().mkString("\n")

注:本地文件的话,这里用相对路径和绝对路径都可以,或直接传hdfs路径

取Array[String]的第一个元素:

val rddFromFile = spark.sparkContext.textFile("test.txt").collect()(0)

参考:https://sparkbyexamples.com/spark/spark-read-text-file-rdd-dataframe/

复制代码
scala> val args = Array("Hello", "world", "it's", "me")
val args: Array[String] = Array(Hello, world, it's, me)

scala> val string = args.mkString(" ")
val string: String = Hello world it's me

scala> val string = args.mkString("\n")
val string: String =
Hello
world
it's
me
复制代码
posted @   船长博客  阅读(772)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2020-06-30 shell awk实现删除hdfs上某日期之前的文件
永远相信美好的事情即将发生!
点击右上角即可分享
微信分享提示