摘要：
一，简介 二，SparkSQL 的函数自定义 2.1 函数定义 2.2 函数注册 2.3 示例 三，spark的数据源读取 3.1 JSON 3.2 JDBC 3.3 ParQuet 3.4 CSV 正文 一，简介 很多时候sql中的内置函数无法满足我们的日常开发需求，这就需要我们进行函数的自定义。 阅读全文
摘要：
一，必备知识 1.1 经典14问 1.2 问题前提 二，序列化问题 2.1 Spark序列化出现情况 2.2 Spark序列化问题解决 三，线程安全问题 3.1 Spark线程安全出现情况 3.2 Spark线程安全问题解决 正文 一，必备知识 1.1 经典14问 1.2 需求前提 在上面的12问的 阅读全文
摘要：
一，概述 二，广播变量broadcast variable 2.1 定义广播变量的原因 2.2 图解广播变量 2.3 定义广播变量 2.4 还原广播变量 2.5 定义注意事项 三，累加器 3.1 为什么要将一个变量定义为一个累加器 3.2 图解累加器 3.3 定义累加器 3.4 还原累加器 3.5 阅读全文