摘要：
一、需求分析 注意: 本环境使用 elasticsearch 7.0版本开发，切勿低于此版本 mysql 表结构 有一张表，记录的数据特别的多，需要将7天前的记录，插入到Elasticsearch中，并删除原有表7天前的记录。 表结构如下： CREATE TABLE `historic_record 阅读全文
摘要：
一、使用subprocess模块 使用subprocess模块可创建子进程。 subprocess.Popen(['google-chrome',"http://www.baidu.com"])可打开chrome并显示百度网页。 subprocess.Popen.pid可显示子进程的id，但这只是打 阅读全文
摘要：
一、tcpcopy工具介绍 tcpcopy 是一个分布式在线压力测试工具，可以将线上流量拷贝到测试机器，实时的模拟线上环境，达到在程序不上线的情况下实时承担线上流量的效果，尽早发现 bug，增加上线信心。 tcpcopy 的优势在于其实时性及真实性，除了少量的丢包，完全拷贝线上流量到测试机器，真实的 阅读全文
摘要：
一、概述 由于服务器有限，因此只能用虚拟机搭建 k8s。但是开3个节点，电脑卡的不行。 k8s中文社区封装了一个 Minikube，用来搭建单机版，链接如下： https://yq.aliyun.com/articles/221687 我测试过了，是可以运行。但是，没有calico网络插件。根据其他 阅读全文
摘要：
一、概述 生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。 要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个： 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情，请参考链接： https://blog.csd 阅读全文
摘要：
一、kafka的副本机制 由于Producer和Consumer都只会与Leader角色的分区副本相连，所以kafka需要以集群的组织形式提供主题下的消息高可用。kafka支持主备复制，所以消息具备高可用和持久性。 一个分区可以有多个副本，这些副本保存在不同的broker上。每个分区的副本中都会有一 阅读全文
摘要：
一、概述 实际工程开发中常常会对开发、测试和生产等不同环境配置不同的数据库环境，传统方式可以通过添加不同环境的配置文件达到部署时的动态切换的效果。这种方式还不错，不过不同环境间往往会共享相同的配置而造成一些重复工作。 项目代码 别看只有2个文件，实际情况是有十几个文件，这里只是举例而已！ conf. 阅读全文
摘要：
一、简介 XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 更多介绍，请访问官网： http://www.xuxueli.com/xxl-job/#/ 接下来，本文将详细介绍，如何安装XXL-JOB 阅读全文
摘要：
一、概述 WebSocket WebSocket的工作流程：浏览器通过JavaScript向服务端发出建立WebSocket连接的请求，在WebSocket连接建立成功后，客户端和服务端就可以通过 TCP连接传输数据。因为WebSocket连接本质上是TCP连接，不需要每次传输都带上重复的头部数据， 阅读全文
摘要：
一、概述 已经写好了一个Django项目，需要将这个项目用docker封装一个镜像，使用k8s发布！ 在封装并运行的过程中，发现了很多问题，这里会一一介绍！ 二、时区问题 采用的是镜像是 ubuntu:16.04 默认的时区是UTC，比中国时间，晚了8个小时！ 那么因此，需要将默认的时区给覆盖掉！ 阅读全文