摘要：
docker 基本命令 今天介绍一些docker基本命令，自己最近在学习。docker安装就不介绍了，接下来介绍一些docker常用命令 查看镜像 查看本地所有镜像sudo docker images -a如果查看镜像idsudo docker images -aq查看摘要信息sudo docker 阅读全文
摘要：
接上文我们查看了bind和listen流程，直到了listen操作会在内核初始化一个epoll表，并将listen的描述符加入到epoll表中 如何保证epoll表初始化一次 前文我们看到pollDesc的init函数中调用了runtime的pollOpen函数完成的epoll创建和描述符加入，这里 阅读全文
摘要：
今天谈谈golang源码netpoll部分实现的细节和协程阻塞调度原理 epoll原理 epoll是linux环境下i/o多路复用的模型，结合下图简单说明epoll工作原理上图说明了epoll生成描epoll表的基本流程，生成socket用来绑定和监听新的连接，将该socket放入epoll内核表， 阅读全文
摘要：
缓冲系统结构 今天谈谈电商秒杀抢购或者高并发集中访问情况下，如何设计稳定高效的缓冲系统。常用的做法是采取逻辑分离，将秒杀功能分化为不同的逻辑进行设计，降低耦合度同时增加缓冲队列降低访问压力。可以将秒杀抢购功能分为接入层和逻辑层，接入层主要负责基本的判断如token检测，用户检测，请求是否合法等，逻辑 阅读全文
摘要：
前情回顾 前文我们完成了日志管理系统后台开发。 本节目标 这次为日志管理搭建一个web管理平台，可以通过web端录入项目和配置信息，以及项目对应的日志路径和采集信息，并且写入etcd，这样通过之前编写的日志采集系统可以根据etcd采集对应的日志。 选择beego作为web后台开发 web端采用bee 阅读全文
摘要：
前情回顾 前文我们完成了kafka消费逻辑实现，并将消息放入elasticsearch，然后通过kibana可视化工具查看我们的日志。 本节目标 前文只是完成了kafka消息消费以及放入elastic，这次将项目完善，使其支持热更新，就是当config.yaml中监控的日志改变，或者etcd数据有改 阅读全文
摘要：
前情回顾 前文我们完成了日志采集系统基本功能，包括日志监控，日志采集，配置热更新，协程动态启动和关闭，同时扩充支持了etcd管理文件路径。 本节目标 本节新增日志查询和检索功能。基本思路是将日志信息从kafka中读取，然后放到elasticsearch中，elasticsearch是一个分布式多用户 阅读全文
摘要：
前情回顾 前文我们完成了日志采集系统基本功能，包括日志监控，日志采集，配置热更新，协程动态启动和关闭等。 本节目标 前文我们是通过将要监控的日志路径配置在配置文件中，根据配置文件热更新动态监控日志。本节将etcd服务加入系统中，可以将要监控的日志文件路径和主题序列化为字符串保存到etcd中，这样系统 阅读全文
摘要：
前情回顾 前文我们完成了日志采集系统的日志文件监控，配置文件热更新，协程异常检测和保活机制。 本节目标 本节加入kafka消息队列，kafka前文也介绍过了，可以对消息进行排队，解耦合和流量控制的作用，为什么一定要用kafka呢？主要原因就是在日志高并发读取后，如果直接将消息发给前端或者写入数据库， 阅读全文
摘要：
前情回顾 前文我们完成了如下功能1 根据配置文件启动多个协程监控日志，并启动协程监听配置文件。2 根据配置文件热更新，动态协调日志监控。3 编写测试代码，向文件中不断写入日志并备份日志，验证系统健壮性。 本节目标 我们旨在编写一个健壮性较强的日志监控系统，不得不考虑这样一个问题，当某个日志监控协程崩 阅读全文