10 2019 档案
摘要:邮件服务是项目中常用的,看到别人写了一个,手痒了,自己也整一个。 一:邮箱的基本协议 POP3是Post Office Protocol 3的简称,即邮局协议的第3个版本,它规定怎样将个人计算机连接到Internet的邮件服务器和下载电子邮件的电子协议。它是因特网电子邮件的第一个离线协议标准,POP
阅读全文
摘要:有了上面四篇文章,再加上一些异常处理、优化,开发基本就没什么问题了。下面我们开始: 一:SparkSql异常处理 1.将类转换为DF 实际开发过程中有很多需要将一个数字或者汇聚出来的数据转换为DF的需求 这时候可以将数字或者数据转换成一个类,将类转换为DF val data = scala.coll
阅读全文
摘要:一:SparkSql操作mysql 老规矩:先抽出来公共的方法: import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import or
阅读全文
摘要:一:Sparksql列操作 1.初始化SparkContext及数据: import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import
阅读全文
摘要:一.helloworld import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import org.apache.spark.sql.{
阅读全文
摘要:以前公司用的是spark-core,但是换工作后用的多是spark-sql。最近学习了很多spark-sql,在此做一个有spark经验的sparksql快速入门的教程。 资源列表 JDK安装包 1.8版本:https://pan.baidu.com/s/1pLW3jyKv3N_FhQ7vvE4U2
阅读全文
摘要:最近看了一遍hive的文档,本文是为了记录文档中将来会可用东西,并非最全的《文档》,望谅解 一:Hive常用操作 1.表信息 analyze table trandw.dwd_log_app_open_detail_di partition(dt='20220220') compute statis
阅读全文