摘要: 简介: DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。github地址: https://github.com/alibaba/DataX 1 注意部分 阅读全文
posted @ 2020-01-04 14:51 Harvey2017 阅读(3831) 评论(0) 推荐(1) 编辑
摘要: 一、概念 Shiro是一个Java安全框架,可以帮助我们完成:认证、授权、加密、会话管理、与Web集成、缓存等。 Subject:即当前用户,在权限管理的应用程序里往往需要知道谁能够操作什么,谁拥有操作该程序的权利,shiro中则需要通过Subject来提供基础的当前用户信息,Subject 不仅仅 阅读全文
posted @ 2018-08-31 15:36 Harvey2017 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站:https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动 阅读全文
posted @ 2018-04-23 22:10 Harvey2017 阅读(5664) 评论(0) 推荐(1) 编辑
摘要: 一. 什么是架构和架构本质 在软件行业,对于什么是架构,都有很多的争论,每个人都有自己的理解。 此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前,我们先讨论架构的概念定义,概念是人认识这个世界的基础,并用来沟通的手段,如果对架构概念理解不一样,那沟通起来自然不顺畅。 Linux有架构 阅读全文
posted @ 2022-02-09 15:25 Harvey2017 阅读(256) 评论(0) 推荐(0) 编辑
摘要: DataX MysqlWriter 1 快速介绍 MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上, MysqlWriter 通过 JDBC 连接远程 Mysql 数据库,并执行相应的 insert into ... 或者 ( replace into .. 阅读全文
posted @ 2020-01-04 14:14 Harvey2017 阅读(6646) 评论(0) 推荐(0) 编辑
摘要: MysqlReader 插件文档 1 快速介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上,MysqlReader通过JDBC连接远程Mysql数据库,并执行相应的sql语句将数据从mysql库中SELECT出来。 不同于其他关系型数据库,MysqlReader不支持Fetc 阅读全文
posted @ 2020-01-04 14:13 Harvey2017 阅读(2656) 评论(1) 推荐(0) 编辑
摘要: 设计模式(Design pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式使代码编制真正工程化,设计模式是软件工程的基石,如同大厦的一块块砖 阅读全文
posted @ 2020-01-04 10:06 Harvey2017 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 一、概念 合成/聚合复用原则是在一个新的对象里面使用一些已有的对象,使之成为新对象的一部分;新的对象通过向这些对象的委派达到复用已有功能的目的。 概括:要尽量使用合成/聚合,尽量不要使用继承。 二、依赖和关联 依赖是类与类之间的连接,表示一个类依赖于另外一个类的定义。依赖关系仅仅描述了类与类之间的一 阅读全文
posted @ 2018-11-12 20:51 Harvey2017 阅读(2519) 评论(0) 推荐(0) 编辑
摘要: 分布式事物 随着分布式计算的发展,事物在分布式计算领域也得到了广泛的应用。在单机数据库中,我们很容易能够实现一套满足ACID特性的事物处理系统,但在分布式数据库中,数据分散在各台不同的机器上,如何对这些数据进行分布式的事物处理具有非常大的挑战。 分布式事物是指事物的参与者、支持事物的服务器、资源服务 阅读全文
posted @ 2018-09-07 15:50 Harvey2017 阅读(210) 评论(0) 推荐(0) 编辑
摘要: 一、${}和#{}的区别 #{}:占位符号,好处防止sql注入 ${}:sql拼接符号 动态 SQL 是 mybatis 的强大特性之一,也是它优于其他 ORM 框架的一个重要原因。mybatis 在对 sql 语句进行预编译之前,会对 sql 进行动态解析,解析为一个 BoundSql 对象,也是 阅读全文
posted @ 2018-09-07 13:23 Harvey2017 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 一、MyBatis拦截器介绍 MyBatis提供了一种插件(plugin)的功能,虽然叫做插件,但其实这是拦截器功能。 MyBatis 允许你在已映射语句执行过程中的某一点进行拦截调用。默认情况下,MyBatis 允许使用插件来拦截的方法调用包括: 我们看到了可以拦截Executor接口的部分方法, 阅读全文
posted @ 2018-09-07 13:22 Harvey2017 阅读(724) 评论(0) 推荐(1) 编辑
摘要: 一、延迟加载 resultMap中的association和collection标签具有延迟加载的功能。 延迟加载的意思是说,在关联查询时,利用延迟加载,先加载主信息。使用关联信息时再去加载关联信息。 二、查询缓存 Mybatis的一级缓存是指SqlSession。一级缓存的作用域是一个SqlSes 阅读全文
posted @ 2018-09-03 15:45 Harvey2017 阅读(974) 评论(0) 推荐(0) 编辑