摘要： 背景 最近查看nginx log排查问题时，意外中发现重量级的主页 list api 304比例已暴跌至不到1%，之前该比例长期维持在30%以上，近期也未改动过相关逻辑，跟进后最终发现是服务端本地cache混用导致的问题。 304优化原因 app每次冷启初始化时都会请求重量级的HTTP主页list 阅读全文

摘要： 背景 试水搭建ELK，使用了ELK7.17.13版本，filebeat默认配置的input type已经是filestream而非旧版的log类型，开始了探索之旅。 信任ChatGPT导致的三次失败尝试 ChatGPT3.5介绍说filestream是旧版log类型的替代者，提供了更多的功能和改进， 阅读全文

摘要： ## 背景 近期一个大版本上线后，Python编写的api主服务使用内存有较明显上升，服务重启后数小时就会触发机器的90%内存占用告警，分析后发现了本地cache不当使用导致的一个内存泄露问题，这里记录一下分析过程。 ## 问题分析 ### LocalCache实现分析 该cache大概实现代码如下 阅读全文

摘要： ## 背景 最近有一个业务场景需要用Python自行实现一个简单的LRU cache，不可避免的接触到了弱引用这一概念，这里记录一下。 ## 强引用 Python内存回收由垃圾回收器自动管理，当一个对象的引用计数归0时，其内存就可能被回收掉，而引用计数器的数值其实就是代表有多少个强引用指向该对象，我 阅读全文

摘要： ## 背景 线上启用memcached(以下简称mc)作为热点缓存组件已经多年，其稳定性和性能都经历住了考验，这里记录一下踩过的几个坑。 ## 大key存储 某年某月某日，观察mysql的读库CPU占比有些异常偏高，去check慢查询log，发现部分应有缓存的慢sql居然存在几秒执行一次情况，不符合 阅读全文

摘要： ## 背景 最近一组业务redis数据不断增长需要扩容内存，而扩容内存则需要重启云主机，在按计划扩容升级执行主从切换时意外发生了数据丢失与master进入只读状态的故障，这里记录分享一下。 ## 业务redis高可用架构 该组业务redis使用的是一主一从，通过sentinel集群实现故障时的自动主 阅读全文

摘要： 背景 nginx 499在服务端推送流量高峰期长期以来都是存在的，间或还能达到告警阈值触发一小波告警，但主观上一直认为499是客户端主动断开，可能和推送高峰期的用户打开推送后很快杀死app有关，没有进一步探究问题根源。 然而近期在非高峰期也存在499超过告警阈值的偶发情况，多的时候一天几次，少的时候 阅读全文

摘要： 背景 一个安静的晚上，突然接到小伙伴电话线上CDN回源异常，具体表现为请求量飙升，且伴有少量请求404，其中回源请求量飙升已经持续两天但一直未被发现，直到最近404请求触发了告警后分析log才同时发现回源量飙升这一问题。 触发问题的原因很快被发现并修复上线，这里分享一下跟进过程中进一步学习到的CDN 阅读全文

摘要： 背景 最近接触docker的网络配置方式，发现其默认会创建一个docker0的Linux Bridge，宿主机上运行的容器可以通过连接该birdge实现与外网的通信，根据bridge这个命名很自然的认为这就是一个传统意义上的硬件网桥的软件实现，然而进一步探究后发现并非如此，Linux Bridge其 阅读全文

摘要： 背景 作为程序员，应该都听说过NAT(Network Address Transfer，网络地址转换)这一技术名词，并或多或少大概知道其原理与作用--NAT是用于解决IPv4地址不够用，保证我们能够在IPv6普及前依然可以正常使用互联网而广泛使用的一个技术，其原理正如其名称所示：其可以将私网IP通过 阅读全文