spark dataFrame api操作
api代码示例入下
object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appName("DataFrameCase").master("local[2]").getOrCreate() val path = "G:\\student.data" val sparkrdd = sparksession.sparkContext.textFile(path) //隐式转化 import sparksession.implicits._ val studentDF = sparkrdd.map(_.split("\\|")).map(line => Student(line(0).toInt,line(1),line(2),line(3))).toDF() val studentDF2 = sparkrdd.map(_.split("\\|")).map(line => Student(line(0).toInt,line(1),line(2),line(3))).toDF() studentDF.show() studentDF.take(10) studentDF.filter("name='' OR name = 'NULL'").show() //取前30行,不截取字段值 studentDF.show(30,false) studentDF.where("name='' OR name = 'NULL'").show() studentDF.filter("SUBSTRING(name,0,1)='t'").show() studentDF.sort("name").show() //可以传入列,或直接传入字段 studentDF.sort(studentDF("name").desc,studentDF("id")).show() studentDF.select(studentDF.col("name").as("studentname")).show() //join studentDF.join(studentDF2,studentDF.col("id") === studentDF2.col("id")).show() } case class Student(id:Int,name:String,phone:String,email:String) }
操作文件内容如下:
1|burke|18722323|sdfsdf.com 2|turke|18722323|sdfsdf.com 3|turke|18722323|sdfsdf.com 4|curke|18722323|sdfsdf.com 5|burke|18722323|sdfsdf.com 6|burke|18722323|sdfsdf.com 7|burke|18722323|sdfsdf.com 8|murke|18722323|sdfsdf.com 9|burke|18722323|sdfsdf.com 10||1872563|sdfsdf.com 11||2232323|dsfsdf.com 12|NULL|937489|dsfsdew.com
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· 程序员常用高效实用工具推荐,办公效率提升利器!
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 【译】WinForms:分析一下(我用 Visual Basic 写的)