10 2020 档案

IDEA 之 debug
摘要：Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通常我们也可以启用Debug模式来跟踪代码的运行流程去学习三方框架的源码。 所以学习下如何在Intellij IDEA中使用好Debug，主要包括如下内容： 一、 阅读全文
posted @ 2020-10-31 00:19 快乐的张小凡 阅读(121) 评论(0) 推荐(0) 编辑
ScalaTest
摘要：依赖 <!--依赖--><dependencies> <dependency> <groupId>org.scalatest</groupId> <artifactId>scalatest_2.11</artifactId> <version>3.0.0</version> <scope>test< 阅读全文
posted @ 2020-10-27 15:20 快乐的张小凡 阅读(145) 评论(0) 推荐(0) 编辑
常见应用 - SparkSql 之 函数
摘要：org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过import org.apache.spark.sql.functions._ ，也可以用于Datafram 阅读全文
posted @ 2020-10-27 14:57 快乐的张小凡 阅读(442) 评论(0) 推荐(0) 编辑
常见应用 - SparkSql 之 Column类
摘要：1.什么是Column对象 Column 表示了 Dataset 中的一个列, 并且可以持有一个表达式, 这个表达式作用于每一条数据, 对每条数据都生成一个值 2.Column对象如何创建 (1)’ 单引号 ’ 在 Scala 中是一个特殊的符号, 通过 ’ 会生成一个 Symbol 对象, Sym 阅读全文
posted @ 2020-10-27 14:47 快乐的张小凡 阅读(3016) 评论(0) 推荐(1) 编辑
常见应用 - SparkSql 之 DSL(2)
摘要：import org.apache.spark.sql.SQLContext import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.hive.HiveContext import org.apache.s 阅读全文
posted @ 2020-10-27 14:30 快乐的张小凡 阅读(366) 评论(0) 推荐(0) 编辑
常见应用 - SparkSql 之 DSL(1)
摘要：package com.zhangxiaofan.testimport org.apache.spark._import org.apache.spark.sql.SparkSession/** * @author ZhangXiaoFan * @create 2020-10-20 9:58 */c 阅读全文
posted @ 2020-10-27 14:21 快乐的张小凡 阅读(787) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示