背景 前段时间在做一个数据中台的项目，系统用到了不同数据库中的数据。自己又不想手写JDBC连接，既然我有这个需求，那功能应该有人实现了，于是开始了网上搜了，搜索后发现基本都是讲读写分离、主备切换的，后面也查略了Mybatis-plus的官网，里面有这个功能，但好像是我组件的版本之间不兼容，导致出现了 Read More
CentOS7 系统通过yum安装软件包报：[Errno 256] No more mirrors to try. 最近通过yum下载一些包时提示：No more mirrors to try 原因：centos7 部分版本的镜像源已经取消，更换 yum 源即可从根本上解决问题 具体解决方法也参照了 Read More
源码地址（含完整笔记）：https://gitee.com/Mr-Sponge/spring-boot-study 主要学习以下内容： SpringBoot入门了解知识（比如：各个注解是什么意思，SpringBoot是如何封装数据到容器的，等等） 前后端是如何交互的 SpringBoot中的拦截器原 Read More
源码地址（含完整笔记）：https://gitee.com/Mr-Sponge/spring-study 主要学习： 什么是IOC IOC 创建对象方式 Spring配置文件以及依赖注入 bean自动装配方式 Java的反射和动态代理 AOP Spring整合Mybatis 说实话，写的很烂。。。 Read More
目录Mybatis简介MyBatis历史MyBatis特性MyBatis下载和其它持久化层技术对比搭建MyBatis开发环境创建maven工程创建MyBatis的核心配置文件创建mapper接口创建MyBatis的映射文件通过junit测试功能加入log4j日志功能核心配置文件详解默认的类型别名My Read More
原文链接：https://cloud.tencent.com/developer/article/2167527 【作者介绍】王磊，阿里云 MVP，华院计算技术总监。 著有：《图解 Spark 大数据快速分析实战》；《offer 来了：Java 面试核心知识点精讲（原理篇）》；《offer 来了：J Read More
随着时间的推移，要装的东西越来越多，加上之前创建虚拟机的时候没有太过关注磁盘资源分配，导致资源利用率地下。今天就来实现下磁盘扩容 进行操作前请对相关重要数据进行备份或者拍张快照 处理 /sda3 空间不足问题 扩容前 可以看到这块磁盘的使用率已经达到 98% 了，现在就是要对这块磁盘进行扩容。 首先 Read More
Spark批处理小文件合并 /** * * @param sparkSession * @param absDir 要进行小文件合并的路径 * @param partitionSize 分块的大小（一般 128 ，即 128M ） * @param isDeleteBak 是否删除备份路径数据，1： Read More
SQLAlchemy 2.0 版本检查 import sqlalchemy sqlalchemy.__version__ 建立连接-engine 任何 SQLAlchemy 应用程序的开始都是一个称为Engine的对象。此对象充当连接到特定数据库的中心源，既提供一个工厂，又提供一个称为 连接池 的存 Read More
Spark算子是分为行动子算子和转换算子的，只有遇到行动算子，计算任务才会生成一个Job任务，当算子行动算子多起来，并且交织复杂的时候，Spark去追溯数据血缘就会比较耗时了，通常我们都会直接通过persist算子存储中间的计算结果，减少数据的重复计算。 // 存储中间计算结果，避免Spark重复计 Read More