摘要: 一、前言 Canal 是阿里的一款开源项目,纯 Java 开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了 MySQL(也支持 mariaDB)。 Canal 除了支持 binlog 实时 增量同步 数据库之外也支持 全量同步 ,本文主要分享使用Canal来实现从MySQL到El 阅读全文
posted @ 2021-03-29 09:40 zlt2000 阅读(2413) 评论(4) 推荐(0) 编辑
摘要: canal是阿里的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL 阅读全文
posted @ 2021-03-25 14:18 zlt2000 阅读(2058) 评论(0) 推荐(2) 编辑
摘要: 一、前言 程序访问 MySQL 数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。 其实在 MySQL 数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普 阅读全文
posted @ 2021-01-04 09:33 zlt2000 阅读(1740) 评论(0) 推荐(0) 编辑
摘要: 一、前言 在 Elasticsearch 的日常中,有很多如存储 系统日志、行为数据等方面的应用场景,这些场景的特点是数据量非常大,并且随着时间的增长 索引 的数量也会持续增长,然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使用(热数据),而历史数据几乎没有作用或者很少会被使用(冷数 阅读全文
posted @ 2020-12-30 08:42 zlt2000 阅读(2909) 评论(0) 推荐(4) 编辑
摘要: 一、前言 日志分析是目前重要的系统调试和问题排查的重要手段之一,而目前分布式系统由于实例和机器众多,所以构建一套统一日志系统是非常必要的;ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前的主流选择之一。 本文主要介绍如何实现一套 ELK日志 阅读全文
posted @ 2020-12-07 08:57 zlt2000 阅读(1427) 评论(0) 推荐(1) 编辑
摘要: 一、前言 开发排查系统问题用得最多的手段就是查看系统日志,ELK 是 Elastic 公司开源的实时日志处理与分析解决方案,已经为日志处理方案的主流选择。 而在生产环境中,如何针对 ELK 进行监控,保证各个组件正常运行?如何知道目前的资源是否能承受线上的压力呢?本文主要是以 Elastic Sta 阅读全文
posted @ 2020-11-30 09:28 zlt2000 阅读(1187) 评论(0) 推荐(0) 编辑
摘要: 一、目的 开发排查系统问题用得最多的手段就是查看系统日志,但是在分布式环境下使用日志定位问题还是比较麻烦,需要借助 全链路追踪ID 把上下文串联起来,本文主要分享基于 Spring Boot + Dubbo 框架下 日志链路追踪ID 的实现方案选型思路。 目前大多数分布式追踪系统的思想模型都来自 G 阅读全文
posted @ 2020-09-27 08:59 zlt2000 阅读(1826) 评论(0) 推荐(0) 编辑
摘要: 一、什么是OAuth2协议? OAuth 2.0 是一个关于授权的开放的网络协议,是目前最流行的授权机制。 数据的所有者告诉系统,同意授权第三方应用进入系统,获取这些数据。系统从而产生一个短期的进入令牌(token),用来代替密码,供第三方应用使用。 由于授权的场景众多,OAuth 2.0 协议定义 阅读全文
posted @ 2020-09-02 10:25 zlt2000 阅读(2936) 评论(0) 推荐(0) 编辑
摘要: 一、背景 在微服务架构中 API网关 非常重要,网关作为全局流量入口并不单单是一个反向路由,更多的是把各个边缘服务(Web层)的各种共性需求抽取出来放在一个公共的“服务”(网关)中实现,例如安全认证、权限控制、限流熔断、监控、跨域处理、聚合API文档等公共功能。 在以 Dubbo 框架体系来构建的微 阅读全文
posted @ 2020-06-28 09:46 zlt2000 阅读(12371) 评论(3) 推荐(1) 编辑
摘要: 一、说明 单点登录顾名思义就是在多个应用系统中,只需要登录一次,就可以访问其他相互信任的应用系统,免除多次登录的烦恼;本文主要介绍 跨域 间的 项目怎样实现单点登录,并且与 的差异在那里?需要解决什么问题?。 前后端分离 的核心概念是后端仅返回前端所需的数据,不再渲染HTML页面,前端HTML页面通 阅读全文
posted @ 2020-03-17 10:24 zlt2000 阅读(10836) 评论(1) 推荐(0) 编辑