摘要：
趁着工作业余时间，趁着内心对技术追求的热情，还是对Spark这个大数据内存计算框架动手了，毕竟人与人之间的差距都是在工作业余时间拉开的…… Spark官网：http://spark.apache.org/ 一、Spark概述 官网已经说的很明白了，我这里记录一些重点。Spark是一种分布式计算框架， 阅读全文
摘要：
记录本次学习是用于：Scala实现网站流量实时分析 Scala官网：https://www.scala-lang.org/，创始人：马丁·奥德斯基（编写了javac和scalac，没错就是我们初学java时所用命令行窗口中的javac），Scala不把程序员当傻子，马丁·奥德斯基对于Scala的定位 阅读全文
摘要：
之前已经完成zookeeper集群、Hadoop集群、HBase集群、Flume、Kafka集群、Spark集群的搭建：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），且离线分析模块已经在之前的模块中实现（网站日志流量分析系统之数据清洗处理（离线分析）），这次基于Docker搭建 阅读全文
摘要：
上一篇使用Docker搭建了Hadoop的完全分布式：使用Docker搭建Hadoop集群(伪分布式与完全分布式)，本次记录搭建spark集群，使用两者同时来实现之前一直未完成的项目：网站日志流量分析系统（该系统目前用虚拟机实现了离线分析模块，实时分析由于资源问题尚未完成 这次spark集群用于该项 阅读全文
摘要：
之前用虚拟机搭建Hadoop集群（包括伪分布式和完全分布式：Hadoop之伪分布式安装），但是这样太消耗资源了，自学了Docker也来操练一把，用Docker来构建Hadoop集群，这里搭建的Hadoop主要服务于之前没有完成的项目：网站日志流量分析系统（该系统目前用虚拟机实现了离线分析模块，实时分 阅读全文
摘要：
Docker默认拉取镜像是从这里拉取(https://hub.docker.com/),拉取的速度让人。。。，所以是配置国内镜像源，拉取速度十分惊人 一、版本要求 Docker版本：1.10以上 二、配置加速器 sudo mkdir -p /etc/docker sudo tee /etc/dock 阅读全文
摘要：
在网上看了不少关于Kubernetes的视频，虽然现在还未用上，但是也是时候总结记录一下，父亲常教我的一句话：学到手的东西总有一天会有用！我也相信在将来的某一天会用到现在所学的技术。废话不多扯了。。。。 一、前期准备 1、k8s-master01：master主服务器（存在单点故障） 2、k8s-n 阅读全文
摘要：
一、系统要求 ①镜像：win10 ②1C、4G、20G即可 ③仅主机模式（共享网卡上网） ④老毛桃PE ⑤ip为192.168.66网段（因为我设置的其他K8S节点也为该网段） koolshare默认ip为192.168.1.1 ⑥所需镜像：https://pan.baidu.com/share/i 阅读全文
摘要：
一、本机环境 ①系统镜像：CentOS7 ②Docker：Docker version 19.03.5 ③Docker-compose：docker-compose 二、Docker安装 参考官网安装即可：https://docs.docker.com/install/linux/docker-ce 阅读全文
摘要：
一、Spring的AOP分为以下5种类型通知 ①前置通知（Before）：在连接点执行前执行该通知 ②正常返回通知（AfterReturning）：在连接点正常执行完后执行该通知，若目标方法执行异常则不会执行该通知 ③异常返回通知（AfterThrowing）：在连接点执行抛出异常时执行该通知 ④后 阅读全文