摘要：
我喜欢青岛，喜欢它的跌宕起伏，每次看到青岛的图片，我脑子里立马就响起海水哗啦啦的声音，想起台东的夜市，栈桥的夜景，八大关的秋叶、木栈道，湛山寺的佛像，小珠山的花，金沙滩的沙子，崂山的茶田，劈柴院附近的教堂，历历在目不敢忘记，有股想冲回去的冲动、兴奋，以后有机会带着家人去走走，看看自己逝去的青春，其实 阅读全文
摘要：
目录 创建型设计模式 结构型设计模式 创建型设计模式 1. Builder模式 为什么存在该模式： 使用多参数构造器，初始化时比较麻烦，需要书写多个构造参数，并且记住这些参数之间的次序； 使用set方法会使得类属性在被创建之后被修改，给程序带来了一些不安全性； 使用多参数构造器，初始化时比较麻烦，需 阅读全文
摘要：
1. Scala开发为什么需要Java环境？ Scala需要Java虚拟机把程序编译成字节码运行。这里提一下Scala中集合和Java中集合相互转换的办法，即 import scala.collection.JavaConversions._，主要方法有： 2. Scala中所有类的超类及空返回值 阅读全文
摘要：
1. Spark与Scala的版本问题 官网会给出 Maven Repository上可以查到 2. RDD(Resilent Distributed DataSet) 一组Partition，每个分片都被一个计算任务处理，未指定的话默认是程序分配的CPU core的数目 计算每个Parititio 阅读全文
摘要：
一、Hbase 先来个中文的概括 1. HBase shell窗口进入 执行hbase shell 2. HBase表的创建 # 语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}# 例如：创建表user，有两个family n 阅读全文
摘要：
转载自：https://blog.csdn.net/weixin_41615494/article/details/7952173 一、基于Receiver的方式 原理 Receiver从Kafka中获取的数据存储在Spark Executor的内存中，然后Spark Streaming启动的job 阅读全文
摘要：
1. ETL和ODS ETL 是 Extract、Transform 和 Load 的缩写，即抽取、转换和加载。ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础； ODS（Oper 阅读全文
摘要：
写这篇博文是因为这个东西坑太多，首先说明下边实现的多数据源不是动态切换的，应该算是静态的。另外，如果对Spring JPA不熟悉的话，可以参见：SpringBoot 中 JPA 的使用 坑一、pom文件 pom中spring boot以及mysql connector的版本一定要注意。 1 <par 阅读全文
摘要：
1. Hadoop中的NullWritable NullWritable是Writable的一个特殊类，实现方法为空实现，不从数据流中读数据，也不写入数据，只充当占位符，如在MapReduce中，如果你不需要使用键或值，你就可以将键或值声明为NullWritable,NullWritable是一个不 阅读全文
摘要：
1. Java中length,length方法,size方法区别 length属性:用于获取数组长度。 length方法：用于获取字符串长度。 size方法：用于获取泛型集合有多少个元素。 2. isEmpty方法 isEmpty方法用来判断是否为空，很多类都有，比如String、Queue、Sta 阅读全文