2022年3月12日
查看 spark-sql 的 SQL语法树、spark-sql 的优化、整合 hive 之后通过代码操作
摘要： 查看 spark-sql 的 SQL语法树 查看 spark-sql 的web界面的一种方式 在通过 spark-sql --master yarn-client 命令进入 spark-sql 的时候 可以在yarn的web界面中通过下图所示的步骤进入spark-sql 的web界面，并查看 spa 阅读全文
posted @ 2022-03-12 22:36 赤兔胭脂小吕布 阅读(221) 评论(0) 推荐(0) 编辑
spark 写代码的三种方式、spark 整合 Hive
摘要： spark 写代码的方式 1、在IDEA中将代码编写好然后打包上传到集群中运行(使用最多) 将代码提交到集群运行，不需要指定master(运行模式) 注意以后只要涉及到路径，就不能出现中文或空格，不然可能会报莫名其妙的错误 代码示例 package com.shujia.sql import org 阅读全文
posted @ 2022-03-12 21:42 赤兔胭脂小吕布 阅读(395) 评论(0) 推荐(0) 编辑
DSL练习、array函数、map函数、sum() 在 over(窗口函数) 中的两种用法、expr()--转换成列的对象、when(表达式,为true返回的值).otherwise(为false返回的值)--用法
摘要： DSL练习 统计每科都及格的学生 需要显示[学号，姓名，班级，性别，科目名，科目分数] package com.shujia.sql import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.{DataFra 阅读全文
posted @ 2022-03-12 00:17 赤兔胭脂小吕布 阅读(151) 评论(0) 推荐(0) 编辑