摘要：
一. 背景 日志作为服务的重要数据，可以更好的帮助业务查看服务状态，查找问题和数据恢复，随着业务服务的逐渐增加，业务机器在不断增加，业务间调用关系也随之更加复杂，所以如何能将各机器的日志完全、快速的收集，更友好的聚合可视化展示则成为了服务化框架的重要环节。 旧有的方案是定时将该机器的日志进行转发到几 阅读全文
摘要：
背景公司使用的ELK进行日志采集、聚合 业务机器采用filebeat 进行的日志采集。 会有概率出现 ropping too large message of size 1171026 具体原因就是kafka 对每一条消息的大小进行了限制。 默认是1000000 字节，我们从错误中可以看出，当前字节 阅读全文
摘要：
背景： 公司在做自己的发布平台，需要自动化编译go 工程，大部分开发使用的都是go 1.12 版本 由于go mod的机制，有很多包需要代理才能进行下载，而自动化编译频繁的进行代理切换就很麻烦。 所以线上自动编译采用go 1.13 编译 go 1.13 编译的特点：https://zhuanlan. 阅读全文
摘要：
mongoshake 是个开源的用户mongo数据迁移和同步的工具，支持往各种目标源头写数据 具体：https://github.com/alibaba/MongoShake 有业务场景想把oplog 写入到kafka 中，如果直接在collector.conf 设置kafka 信息会导致写入kaf 阅读全文
摘要：
一、使用场景 大背景是从kafka 中读取oplog进行增量处理，但是当我想发一条命令将这个增量过程阻塞，然后开始进行一次全量同步之后，在开始继续增量。 所以需要对多个协程进行控制。 二、使用知识 1. 从一个未初始化的管道读会阻塞 2.从一个关闭的管道读不会阻塞 利用两个管道和select 进行控 阅读全文
摘要：
一．安装ant ant 是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具，大多用于Java环境中的软件开发。在实际软件开发中，有很多地方可以用到ant。 二．安装JDK环境 1． 安装JDk到其默认目录：C:\Program Files\Java\jdk1.5.0_05 2． 右击我 阅读全文
摘要：
class Queue{ private: struct node{ string data; struct node * next,*priv; } private: struct node * pthread; } 当我给struct node 分配一块新内存时 struct node * pn 阅读全文
摘要：
来到公司实习，开始面向实习生有一个小项目，当然了，服务器就由我一个人来写了，1.0主要完成的使用纯C 写Linux下UDP的服务器框架，大部分还都是以前在学校做过的项目套用的，难度不大，经过跟大boss讨论，版本2.0决定引入类，然后改用TCP进行传输，但是突然转变成C++还是有些不适应，虽然引入了 阅读全文