2019年4月16日
【Spark-SQL学习之三】 UDF、UDAF、开窗函数
摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、UDF:用户自定义函数。可以自定义类实现UDFX接口 示例代码：Java： Scala 阅读全文
posted @ 2019-04-16 16:15 cac2020 阅读(835) 评论(0) 推荐(0) 编辑
【Spark-SQL学习之二】 SparkSQL DataFrame创建和储存
摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 1、读取json格式的文件创建DataFrame注意：(1)json文件中的json数据不 阅读全文
posted @ 2019-04-16 16:13 cac2020 阅读(1950) 评论(0) 推荐(0) 编辑