摘要：
1、回顾MVC ssm：mybatis+Spring+SpringMVC MVC三层架构 ssm框架：研究官方文档，锻炼自学能力，锻炼项目能力 SpringMVC+Vue+SpringBoot+SpringCloud+Linux SSM=javaweb项目 MVVM: m v vm(viewmode 阅读全文
摘要：
前端埋点数据采集（二）mock应用系统10万条前端埋点数据 上一期我们分享了前端埋点数据采集（一）采集系统架构设计 我们说应用系统的数据，采集到大数据平台来，然后再到数仓。但是很多实际场景是应用系统、大数据平台、数仓平台各自并没有完成系统的搭建和开发。 假设现在一个场景是：应用系统javaweb并未 阅读全文
摘要：
前几次内容分享，我们逐步搭建了传统hadoop大数据平台、zookeeper、kafka集群等。 假设现在一个场景是：今天产品经理提了1个优先级极高的需求：应用系统前端埋点数据都需要被采集到大数据平台hadoop上。 “前端埋点数据的采集系列”，主要分为以下5个部分： 一、采集系统架构设计 二、mo 阅读全文
摘要：
前几次内容分享，我们一共做了三件事： 1.逐步搭建了传统hadoop大数据平台包括zookeeper、kafka、flume集群 2.采集前端埋点到hdfs 3.采集业务数据到hdfs 这样数据都采集到HDFS上了，其实就是到了数仓了！ 数据采集请看以下链接： 前端埋点数据采集系列 一、采集系统架构 阅读全文
摘要：
通过前面内容分享，我们讲解了数仓建模的概念、理论、OLTP、OLAP、以及ODS、DIM、DWD、DWS、DWT、ADS层简单搭建。涉及的内容非常多，这节我们捋一捋数仓建模的步骤、以及数仓分层思路、五层每层的设计、处理、加载等总结一下。 一、建模步骤 1、关于数仓的建模有两种基本的模型： 关系建模（ 阅读全文
摘要：
一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成 阅读全文
摘要：
申请阿里云免费SSL证书并配置https访问实战 使用阿里云配置https 阿里云免费证书购买在如下位置： 购买完成后在如下位置创建证书并申请证书： 填写验证信息 DNS对应的记录在如下页面： 证书签发后，选择下载： 下载后的文件如图所示： 接下来需要将这两个文件上传到nginx目录下的conf目录 阅读全文
摘要：
Nginx 配置限流 1 概述 2 限制请求速率 2.1、正常限流 2.2、处理突发流量 2.3、设置白名单 2.4、limit_req重复 3限制连接数 4上传/下载速率限制 4.1、limit_rate 4.2、limit_rate_after 4.3、proxy_limit_rate 4.4、 阅读全文
摘要：
1、 nginx 简介 （1） 什么是 nginx 和可以做什么事情 （2） 正向代理 （3） 反向代理 （4） 动静分离 2、 Nginx 的安装 （1） 在 linux 系统中安装 nginx 3、 Nginx 的常用命令和配置文件 4、 Nginx 配置实例 1 反向代理 5、 Nginx 配 阅读全文
摘要：
为什么要用MQ 应用解耦 系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。 使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分 阅读全文
摘要：
Docker笔记（一）docker 在linux里面的安装 为什么使用docker（docker理念） 在开发环境，将源码+配置+软件等其他项目运行的所有的东西，都打包，直接都给运维，这样运维就不需要自己搭建项目运行的环境了，因为你已经拿到了开发人员本地的全部的东西，相当于拿到开发人员全部的东西，直 阅读全文