Tracydzf - 博客园

2022年1月

Celery连接rabbitmq报Connection reset by peer

摘要：问题复现在使用celery + rabbitmq作为broker时,启动一定时间后会由于celery和rabbitmq的心跳检测机制认为连接有问题,先报如下错误 Too many heartbeats missed 再过一段时间,由于认为心跳有问题,会断开tcp连接,就会报如下错误: C 阅读全文

posted @ 2022-01-04 16:24 Tracydzf 阅读(1256) 评论(0) 推荐(0) 编辑

celery执行池概览

摘要：执行池概念当运行类似如下命令启动一个celery进程时,其实启动的是一个管理进程,此进程不处理实际的任务,而是产生的子进程或线程去处理具体任务;那么这些子进程或线程在一起就叫做执行池; celery worker --app=worker.app 执行池的大小(子进程或线程的个数) 决定阅读全文

posted @ 2022-01-04 14:17 Tracydzf 阅读(431) 评论(0) 推荐(0) 编辑

2021年12月

InnoDB的MVVC实现

摘要：多版本并发控制仅仅是一种技术概念，并没有统一的实现标准，其的核心理念就是数据快照，不同的事务访问不同版本的数据快照，从而实现不同的事务隔离级别。虽然字面上是说具有多个版本的数据快照，但这并不意味着数据库必须拷贝数据，保存多份数据文件，这样会浪费大量的存储空间。InnoDB通过事务的undo日志巧阅读全文

posted @ 2021-12-27 14:27 Tracydzf 阅读(105) 评论(0) 推荐(0) 编辑

MySQL的explain工具

摘要： explain工具介绍简单翻译一下，就是explain用于获取查询执行计划（即MySQL是如何执行一个查询的）。工作中，我们会遇到慢查询，这个时候我们就可以在select语句之前增加explain关键字，模拟MySQL优化器执行SQL语句，从而分析该SQL语句有没有用上索引、是否全表扫描、能否进阅读全文

posted @ 2021-12-24 13:50 Tracydzf 阅读(69) 评论(0) 推荐(0) 编辑

日常工作MySQL优化

摘要： SQL优化此优化方案指的是通过优化 SQL 语句以及索引来提高 MySQL 数据库的运行效率，具体内容如下：分页优化例如： select * from table where type = 2 and level = 9 order by id asc limit 190289,10; 优化方阅读全文

posted @ 2021-12-22 11:07 Tracydzf 阅读(36) 评论(0) 推荐(0) 编辑

如何使用Python读写Kafka？

摘要：这一篇文章里面，我们要使用的一个第三方库叫做kafka-python。大家可以使用pip或者pipenv安装它。下面两种安装方案，任选其一即可 python3 -m pip install kafka-python pipenv install kafka-python 如下图所示：创建配置文件阅读全文

posted @ 2021-12-20 17:58 Tracydzf 阅读(961) 评论(0) 推荐(0) 编辑

Kafka 里面的信息是如何被消费的？

摘要：请谨记：使用 Kafka 很容易，但对 Kafka 集群进行搭建、维护与调优很麻烦。Kafka 集群需要有专人来维护，不要以为你能轻易胜任这个工作。 Kafka 是如何做到，对单个程序的多个进程而言，能持续消费，断点续传和并行消费；对多个程序而言又互不影响，各自独立。一个 Kafka 可以有多个不阅读全文

posted @ 2021-12-20 16:54 Tracydzf 阅读(228) 评论(0) 推荐(0) 编辑

Kafka-爬虫

摘要：这看起来似乎和数据直接写进 MongoDB 里面，然后各个程序读取 MongoDB 没什么区别啊？那 Kafka 能解决什么问题？我们来看看，在这个爬虫架构里面，我们将会用到的 Kafka 的特性：与其说 Kafka 在这个爬虫架构中像 MongoDB，不如说更像 Redis 的列表。现在来简阅读全文

posted @ 2021-12-20 16:20 Tracydzf 阅读(484) 评论(0) 推荐(0) 编辑

一篇搞懂容器技术的基石： cgroup

摘要：对于容器技术而言，它实现资源层面上的限制和隔离，依赖于 Linux 内核所提供的 cgroup 和 namespace 技术。我们先对这两项技术的作用做个概括： cgroup 的主要作用：管理资源的分配、限制； namespace 的主要作用：封装抽象，限制，隔离，使命名空间内的进程看起来拥有他们阅读全文

posted @ 2021-12-20 13:37 Tracydzf 阅读(578) 评论(0) 推荐(0) 编辑

死信消息和死信队列

摘要：死信消息和死信队列定义 Dead Letter Exchange 死信队列（DLX）队列的简称。另外对于死信消息：通常如果我们的一个消息存在以下的情况下的话则这消息被称为死信消息： 1：消息被消费端拒绝，使用 channel.basicNack 或 channel.basicReject ，并且阅读全文

posted @ 2021-12-18 10:53 Tracydzf 阅读(1145) 评论(0) 推荐(0) 编辑

公告