摘要：
RDD、DataFrame与DataSet三者有许多的共性，都有各自使用的场景，常常需要在三者之间进行转换DataFrame/Dataset 转 RDD：val rdd1=testDF.rddval rdd2=testDS.rdd RDD 转 DataFrame：// 一般用元组把一行的数据写在一起，然后在toDF中指定字段名import spark.implicits._val testDF =... 阅读全文
摘要：
撰写本文的目的：对于sparksql，网上有大量的详细文档，本人针对常用的操作进行一个整理，当然有大多数都是从其他地方搬过来的，包括官方文档以及其他网友的一些分享，一来是通过此次整理加强自己的记忆，二来如果有幸帮到某位网友，那是本人莫大的荣幸，先感谢您的阅读，废话不多说，进入正文： 下文所涉及到的相 阅读全文
摘要：
基本函数测试表：一、字符串函数charset(str):返回字符串的字符集concat(str1,[…]):连接字符串instr(string,substring):返回substring首次在string中出现的位置，若不存在则返回0ucase(str1)：字符串转换成大写lcase(str1)：字符串转换成小写right(string,length):从右边起取string的length个字符... 阅读全文