07 2018 档案

摘要:问题描述: 在使用过程中,当遇到大量报错的时候,我们到eagle后台看到报错的那个consumer的消费情况到到lag 远远大于0(正常情况应该为0),activie 节点没有,kibana面板上没有数据。 因为我们报警使用的是logstash 的email 插件,这里猜测是因为大量的报错,导致em 阅读全文
posted @ 2018-07-30 10:51 BigBao的博客 阅读(1165) 评论(0) 推荐(0) 编辑
摘要:元类参见老师的博客 http://www.cnblogs.com/linhaifeng/articles/8029564.html 阅读全文
posted @ 2018-07-27 15:37 BigBao的博客 阅读(143) 评论(0) 推荐(0) 编辑
摘要:1、logstash 做监控的优劣 适合match-then-alert 的方式 logstash-filter-metric logstash-input-http_poller 无状态、进程间数据无法交流 无复杂表达能力 logstash 做监控没有复杂的语法,同时越复杂的功能越消耗资源,本身logstash 就非常的消耗资源 利用logstash mail 插件有点low ... 阅读全文
posted @ 2018-07-27 14:40 BigBao的博客 阅读(2740) 评论(0) 推荐(0) 编辑
摘要:在刚刚开始接触ELK的时候我们习惯把每一个index都按照day来切割。但是我们会发现我们的shards 会很多。 其实我们一该把那些小的index按照一周或者一个月来rolling,来减少我们的shards数。 我使用的是logstash5,这里我们每启动一个logstash的进程的时候我们会发现 阅读全文
posted @ 2018-07-23 12:07 BigBao的博客 阅读(339) 评论(0) 推荐(0) 编辑
摘要:#gitlab-runner 的简单安装和部署##背景 因为公司要使用CI 功能,已经使用gitlab-page的功能能,所以这里记录一下###安装步骤: 参考官方文档:https://docs.gitlab.com/runner/install/linux-repository.html 找到自己 阅读全文
posted @ 2018-07-20 12:36 BigBao的博客 阅读(766) 评论(0) 推荐(0) 编辑
摘要:我们上面处理的黏包问题是发生在服务端发数据给客户端,客户端的数据接收不完全的解决方案。要是涉及到两边都有黏包问题的话,解决方案也是上面一样解决 阅读全文
posted @ 2018-07-19 15:58 BigBao的博客 阅读(372) 评论(0) 推荐(0) 编辑
摘要:https://frankbing.gitbooks.io/markdown/content/ 阅读全文
posted @ 2018-07-19 12:07 BigBao的博客 阅读(109) 评论(0) 推荐(0) 编辑
摘要:python 3 的安装: 背景: 之前都是在Pychram上写,我的windows下的python版本是3.5,今天要把一个小脚本上到生产环境上。 无奈我服务器上的python版本是2.6.6。所以这里记录一下我安装python3 的过程。 版本下载: https://www.python.org/ftp/python/3.5.5/ 这里我下载的是3.5.5 ... 阅读全文
posted @ 2018-07-18 17:37 BigBao的博客 阅读(223) 评论(0) 推荐(0) 编辑
摘要:topic:创建时topic名称 partition:分区编号 offset:表示该parition已经消费了多少条message logSize:表示该partition已经写了多少条message Lag:表示有多少条message没有被消费。 Owner:表示消费者 Created:该part 阅读全文
posted @ 2018-07-12 17:58 BigBao的博客 阅读(626) 评论(0) 推荐(0) 编辑
摘要:接下来看一下Python的最终解决黏包问题的解决方案: 根据老师的文章写的: http://www.cnblogs.com/linhaifeng/articles/6129246.html#_label12 阅读全文
posted @ 2018-07-11 16:44 BigBao的博客 阅读(404) 评论(0) 推荐(0) 编辑
摘要:gitlab 迁移、升级打怪之路:8.8.5--> 8.10.8 --> 8.17.8 --> 9.5.9 --> 10.1.4 --> 10.2.5gitlab 数据迁移、升级打怪之路:8.8.5--> 8.10.8 --> 8.17.8 --> 9.5.9 --> 10.1.4 --> 10.2 阅读全文
posted @ 2018-07-04 14:26 BigBao的博客 阅读(7631) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示