07 2018 档案
摘要:问题描述: 在使用过程中,当遇到大量报错的时候,我们到eagle后台看到报错的那个consumer的消费情况到到lag 远远大于0(正常情况应该为0),activie 节点没有,kibana面板上没有数据。 因为我们报警使用的是logstash 的email 插件,这里猜测是因为大量的报错,导致em
阅读全文
摘要:元类参见老师的博客 http://www.cnblogs.com/linhaifeng/articles/8029564.html
阅读全文
摘要:1、logstash 做监控的优劣 适合match-then-alert 的方式 logstash-filter-metric logstash-input-http_poller 无状态、进程间数据无法交流 无复杂表达能力 logstash 做监控没有复杂的语法,同时越复杂的功能越消耗资源,本身logstash 就非常的消耗资源 利用logstash mail 插件有点low ...
阅读全文
摘要:在刚刚开始接触ELK的时候我们习惯把每一个index都按照day来切割。但是我们会发现我们的shards 会很多。 其实我们一该把那些小的index按照一周或者一个月来rolling,来减少我们的shards数。 我使用的是logstash5,这里我们每启动一个logstash的进程的时候我们会发现
阅读全文
摘要:#gitlab-runner 的简单安装和部署##背景 因为公司要使用CI 功能,已经使用gitlab-page的功能能,所以这里记录一下###安装步骤: 参考官方文档:https://docs.gitlab.com/runner/install/linux-repository.html 找到自己
阅读全文
摘要:我们上面处理的黏包问题是发生在服务端发数据给客户端,客户端的数据接收不完全的解决方案。要是涉及到两边都有黏包问题的话,解决方案也是上面一样解决
阅读全文
摘要:https://frankbing.gitbooks.io/markdown/content/
阅读全文
摘要:python 3 的安装: 背景: 之前都是在Pychram上写,我的windows下的python版本是3.5,今天要把一个小脚本上到生产环境上。 无奈我服务器上的python版本是2.6.6。所以这里记录一下我安装python3 的过程。 版本下载: https://www.python.org/ftp/python/3.5.5/ 这里我下载的是3.5.5 ...
阅读全文
摘要:topic:创建时topic名称 partition:分区编号 offset:表示该parition已经消费了多少条message logSize:表示该partition已经写了多少条message Lag:表示有多少条message没有被消费。 Owner:表示消费者 Created:该part
阅读全文
摘要:接下来看一下Python的最终解决黏包问题的解决方案: 根据老师的文章写的: http://www.cnblogs.com/linhaifeng/articles/6129246.html#_label12
阅读全文
摘要:gitlab 迁移、升级打怪之路:8.8.5--> 8.10.8 --> 8.17.8 --> 9.5.9 --> 10.1.4 --> 10.2.5gitlab 数据迁移、升级打怪之路:8.8.5--> 8.10.8 --> 8.17.8 --> 9.5.9 --> 10.1.4 --> 10.2
阅读全文