随笔分类 - spark-sql
spark-sql
摘要:最近把spark文档里面配置那一页看了一下,在这记录一些可用的配置,免得后续再去查文档地址:https://spark.apache.org/docs/3.0.1/configuration.html Spark文档 运行环境 名称默认值配置解释 spark.executor.extraJavaOp
阅读全文
摘要:数学函数 函数简介用法 acosh 反双曲余弦值 SELECT acosh(0.5);0.9624236501192069 SELECT acosh(3.5);1.9248473002384139 asinh 反双曲正弦 SELECT asinh(1.45);1.1667043308708802 a
阅读全文
摘要:Spark-sql概念补充 基本概念 SparkSQL是基于RDD的,可以通过Schema信息来访问其中某个字段 RDD处理的不是结构化数据,所以不能进行类似HIve逻辑优化器的优化操作(条件传播) SparkSQL默认读取的类型都是 DataFrame Catalyst优化器 1.解析SQL,并解
阅读全文
摘要:hive简单的数据结构像基本类型一样,处理起来没有难度。但是hive有复杂的数据结构如struct、map、array等,处理起来较为复杂了,下面简单介绍一下用spark处理hive复杂数据结构。 一:struct结构 熟悉C语言的同学可能会对这个比较熟悉。C语言中稍微复杂的类型都是由struct构
阅读全文
摘要:在生产环境中遇到了这种情况:spark程序需要处理输入是多个目录,输出也是多个目录。但是处理的逻辑都是相同的。 使用方法经历多次修改,最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理,在此记录一下。程序中所有异常处理,建议都在函数里面处理好,不要直接写一些处理代码。这样
阅读全文
摘要:公司数仓迁移完成了,现在所有的数据一天6T的用户行为数据全部由一个spark脚本,关联用户属性数据生成最终想要的数据。里面让我感触最深的是资源的使用spark优化,再此记录一篇关于sparksql优化的文章,专门总结以下现在使用的资源优化及以前使用的资源优化。 一:资源优化 1.对于数据处理的分组
阅读全文
摘要:公司所有产品均是json数据上报给数仓使用,由于格式的不统一造成数据处理很麻烦,经过讨论将公共字段抽取出来,将业务线自己的字段放在 extends字段里面各个业务线的人自己写sql解析extends字段处理。里面涉及到一个json转map的知识点再此记录一下。 一:JSON转Map 1.为什需要将J
阅读全文
摘要:RDD没有可以这种可以注册的方法。在使用sparksql过程中发现UDF还是有点用的所以,还是单独写一篇博客记录一下。 一:简介 UDF=》一个输入一个输出。相当于mapUDAF=》多个输入一个输出。相当于reduceUDTF=》一个输入多个输出。相当于flatMap。(需要hive环境,暂时未测试
阅读全文
摘要:有了上面四篇文章,再加上一些异常处理、优化,开发基本就没什么问题了。下面我们开始: 一:SparkSql异常处理 1.将类转换为DF 实际开发过程中有很多需要将一个数字或者汇聚出来的数据转换为DF的需求 这时候可以将数字或者数据转换成一个类,将类转换为DF val data = scala.coll
阅读全文
摘要:一:SparkSql操作mysql 老规矩:先抽出来公共的方法: import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import or
阅读全文
摘要:一:Sparksql列操作 1.初始化SparkContext及数据: import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import
阅读全文
摘要:一.helloworld import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import org.apache.spark.sql.{
阅读全文
摘要:以前公司用的是spark-core,但是换工作后用的多是spark-sql。最近学习了很多spark-sql,在此做一个有spark经验的sparksql快速入门的教程。 资源列表 JDK安装包 1.8版本:https://pan.baidu.com/s/1pLW3jyKv3N_FhQ7vvE4U2
阅读全文