摘要：
在编写软件过程中，我们程序员面临着来自耦合性、内聚性以及可维护性，可扩展性，重用性，灵活性等多方面的挑战，而设计模式是为了程序更好 1、代码重用性：相同功能的代码，不用多次编写 2、可读性：编程规范性，便于其他程序员的阅读和理解 3、可扩展性：当需要增加新的功能时，非常的方便 可维护 4、可靠性：当 阅读全文
摘要：
由于目前甲方使用IBM MQ，本人不在客户现场，只能自己搭建一个IBM MQ的服务端先测试 1、下载ibmmq镜像 docker仓库地址：https://hub.docker.com/r/ibmcom/mq/ 该镜像的默认用户是admin，密码是 passw0rd docker pull ibmco 阅读全文
摘要：
之前记录Yarn：Hadoop2.0之YARN组件，这次使用Docker搭建Spark On Yarn 一、各运行模式 1、单机模式 该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上没有问题。其中N代表可以使用N个线程，每个线程拥有 阅读全文
摘要：
官方文档：https://hadoop.apache.org/docs/stable/，目前官方已经是3.x，但yarn机制没有太大变化 一、简介 在Hadoop1.0中，没有yarn，所有的任务调度和资源管理都是MapReduce自己来做，所以在Hadoop1.0中，最核心的节点是JobTrack 阅读全文
摘要：
本次记录是用于：SparkStreaming对接Kafka、HBase记录 一、基本概念 1、HBase以表的形式存储数据。表有行和列族组成。列族划分为若干个列。其结构如下 2、Row Key：行键 ①hbase本质上也是一种Key-Value存储系统。Key相当于RowKey，Value相当于列族 阅读全文
摘要：
本项目是为网站日志流量分析做的基础：网站日志流量分析系统，Kafka、HBase集群的搭建可参考：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），里面有关于该搭建过程 本次对接Kafka及HBase是基于使用Docker搭建Spark集群（用于实现网站流量实时分析模块）搭建的6个 阅读全文
摘要：
一、SparkStreaming概述 SparkStreaming是一种构建在Spark基础上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，以吞吐量高和容错能力强著称。 SparkStreaming会将源数据以batch为单位来进行处理，每一批数据封装为一个DStream。即Spark 阅读全文
摘要：
SparkSQL将RDD封装成一个DataFrame对象，这个对象类似于关系型数据库中的表。 一、SparkSQL入门 1、创建DataFrame 相当于数据库中的一张表，它是一个只读的表，不能在运算过程中再往里加元素。RDD.toDF("列名") 2、创建多列DataFrame对象 1）2列Dat 阅读全文
摘要：
本次学习还是为了实现之前搁置了很久的项目：网站日志流量分析系统，之前使用Docker搭建了基础环境：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），这次再补补Spark的理论基础，再编写Scala代码实现网站流量实时分析 1、Spark架构 ①Driver Program：用户编 阅读全文
摘要：
目前参与的项目也已经上线了，业务性比较复杂并且涉及的系统比较多，但是单说技术，没什么亮点，SpringBoot、Elastic-Job（还是未分布式部署）、Shiro等，但是在开发期间还遇到了很多问题，比如：报文如何实现统一加解密并且验签？还有一个让我头疼很久的问题：Transactional注解失 阅读全文