Spark scala String Array转为String
val rddFromFile = spark.sparkContext.textFile("test.txt").collect().mkString("\n")
注:本地文件的话,这里用相对路径和绝对路径都可以,或直接传hdfs路径
取Array[String]的第一个元素:
val rddFromFile = spark.sparkContext.textFile("test.txt").collect()(0)
参考:https://sparkbyexamples.com/spark/spark-read-text-file-rdd-dataframe/
scala> val args = Array("Hello", "world", "it's", "me") val args: Array[String] = Array(Hello, world, it's, me) scala> val string = args.mkString(" ") val string: String = Hello world it's me scala> val string = args.mkString("\n") val string: String = Hello world it's me
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)
2020-06-30 shell awk实现删除hdfs上某日期之前的文件