Kotlin

2019年10月20日

摘要：有了上面四篇文章，再加上一些异常处理、优化，开发基本就没什么问题了。下面我们开始：一：SparkSql异常处理 1.将类转换为DF 实际开发过程中有很多需要将一个数字或者汇聚出来的数据转换为DF的需求这时候可以将数字或者数据转换成一个类，将类转换为DF val data = scala.coll 阅读全文

posted @ 2019-10-20 22:58 Kotlin 阅读(1655) 评论(0) 推荐(0) 编辑

sparksql系列(四) sparksql 操作数据库

摘要：一：SparkSql操作mysql 老规矩：先抽出来公共的方法： import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import or 阅读全文

posted @ 2019-10-20 13:23 Kotlin 阅读(1183) 评论(0) 推荐(0) 编辑

sparksql系列(三) sparksql列操作、窗口函数、join

摘要：一：Sparksql列操作 1.初始化SparkContext及数据： import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import 阅读全文

posted @ 2019-10-20 10:13 Kotlin 阅读(1938) 评论(0) 推荐(0) 编辑

2019年10月13日

sparksql系列(二) sparksql常规操作

摘要：一.helloworld import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import org.apache.spark.sql.{ 阅读全文

posted @ 2019-10-13 21:24 Kotlin 阅读(836) 评论(0) 推荐(0) 编辑

sparksql系列(一)环境搭建及helloworld详解

摘要：以前公司用的是spark-core，但是换工作后用的多是spark-sql。最近学习了很多spark-sql，在此做一个有spark经验的sparksql快速入门的教程。资源列表 JDK安装包 1.8版本：https://pan.baidu.com/s/1pLW3jyKv3N_FhQ7vvE4U2 阅读全文

posted @ 2019-10-13 19:57 Kotlin 阅读(2259) 评论(0) 推荐(0) 编辑

Hive(二)常用操作，常用函数

摘要：最近看了一遍hive的文档，本文是为了记录文档中将来会可用东西，并非最全的《文档》，望谅解一：Hive常用操作 1.表信息 analyze table trandw.dwd_log_app_open_detail_di partition(dt='20220220') compute statis 阅读全文

posted @ 2019-10-13 12:42 Kotlin 阅读(572) 评论(0) 推荐(0) 编辑

2019年9月22日

Hive(四)倾斜表、桶表、表约束、字段检查

摘要：最近看了一遍hive的文档，本文是为了记录文档中将来会可用东西，并非最全的《文档》，望谅解一：hive表 1.倾斜表倾斜表其实就是将数据按照固定值，重新划分文件。（默认是按照keyhash值划分文件） create table if not exists table_test ( aa stri 阅读全文

posted @ 2019-09-22 17:24 Kotlin 阅读(754) 评论(0) 推荐(0) 编辑

2019年8月17日

mybatis从零阅读（二）资源加载

摘要： Resources(org.apache.ibatis.io.Resources)是mybatis重要的资源class，它可以加载mybatis的配置文件，返回给我们想要的类型（File，URL，Perpoties，Reader）。 ClassLoaderWrapper（org.apache.iba 阅读全文

posted @ 2019-08-17 17:20 Kotlin 阅读(291) 评论(0) 推荐(0) 编辑

ClassLoader详解

摘要：阅读源码过程中发现了一些ClassLoader的影子，以前经常用它来加载资源（就是读配置文件），但是没有详细的看过它，这次详细了解一下。 ClassLoader详解 1. ClassLoader是什么一句话总结：加载文件的类（哈哈，废话了）。 2. ClassLoader能干什么返回stream 阅读全文

posted @ 2019-08-17 15:22 Kotlin 阅读(1233) 评论(0) 推荐(0) 编辑

2019年7月7日

如何定义xml里元素

摘要：使用XML多年了，但是一直没有关注过XML是如何定义的，今天看到了就补充一下XML的定义。什么是DTD Document Type Definition(文档类型定义)，一句话总结DTD：是通过自己的语法来定义XML中有怎么样的结构、有哪些元素的定义文档的文件。如何将自定义DTD写入XML 在X 阅读全文

posted @ 2019-07-07 20:05 Kotlin 阅读(628) 评论(0) 推荐(0) 编辑

公告