2020年10月27日
ScalaTest
摘要： 依赖 <!--依赖--><dependencies> <dependency> <groupId>org.scalatest</groupId> <artifactId>scalatest_2.11</artifactId> <version>3.0.0</version> <scope>test< 阅读全文
posted @ 2020-10-27 15:20 快乐的张小凡 阅读(141) 评论(0) 推荐(0) 编辑
常见应用 - SparkSql 之 函数
摘要： org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过import org.apache.spark.sql.functions._ ，也可以用于Datafram 阅读全文
posted @ 2020-10-27 14:57 快乐的张小凡 阅读(404) 评论(0) 推荐(0) 编辑
常见应用 - SparkSql 之 Column类
摘要： 1.什么是Column对象 Column 表示了 Dataset 中的一个列, 并且可以持有一个表达式, 这个表达式作用于每一条数据, 对每条数据都生成一个值 2.Column对象如何创建 (1)’ 单引号 ’ 在 Scala 中是一个特殊的符号, 通过 ’ 会生成一个 Symbol 对象, Sym 阅读全文
posted @ 2020-10-27 14:47 快乐的张小凡 阅读(2920) 评论(0) 推荐(1) 编辑
常见应用 - SparkSql 之 DSL(2)
摘要： import org.apache.spark.sql.SQLContext import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.hive.HiveContext import org.apache.s 阅读全文
posted @ 2020-10-27 14:30 快乐的张小凡 阅读(352) 评论(0) 推荐(0) 编辑
常见应用 - SparkSql 之 DSL(1)
摘要： package com.zhangxiaofan.testimport org.apache.spark._import org.apache.spark.sql.SparkSession/** * @author ZhangXiaoFan * @create 2020-10-20 9:58 */c 阅读全文
posted @ 2020-10-27 14:21 快乐的张小凡 阅读(769) 评论(0) 推荐(0) 编辑