摘要: 前一阵子,搭建了ELK日志分析平台,用着挺爽的,再也不用给开发拉各种日志,节省了很多时间。 这篇博文是介绍用python代码实现日志分析的,用MRJob实现hadoop上的mapreduce,可以直接放到hadoop集群上运行。 mrjob可以让我们使用Python编写MapReduce运算,并在多 阅读全文
posted @ 2016-12-28 10:08 hexm 阅读(1370) 评论(0) 推荐(0) 编辑
摘要: 1.字符串判断 2.数字的判断 3.文件的判断 -e file 若file存在,则为真-d file 若file存在且是一个目录,则为真-b file 若文件存在且是一个块设备,则为真-c file 若文件存在且是一个字符文件,则为真-f file 若文件存在且是一个普通文件,则为真-g file 阅读全文
posted @ 2016-12-27 17:29 hexm 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 获取从库健康状态脚本 查看执行结果 阅读全文
posted @ 2016-12-27 14:24 hexm 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 早上接到open-falcon报警,一台mysql从库同步延迟2w多秒,mysql版本比较老,用的5.1.37。 连接从库查找原因: show processlist一下,查看哪些线程在跑。 看到Time=25565,也就是说这个线程保持当前状态25565秒,一直在执行Updating操作。怀疑是由 阅读全文
posted @ 2016-12-27 10:06 hexm 阅读(459) 评论(0) 推荐(0) 编辑
摘要: 脚本文件: #!/usr/bin/env python import datetime import time import urllib import json import urllib2 import os import sys # ElasticSearch Cluster to Monit 阅读全文
posted @ 2016-12-26 14:09 hexm 阅读(2545) 评论(0) 推荐(0) 编辑
摘要: 日志分析面板导出的json文件,效果图如下: 下载地址:http://files.cnblogs.com/files/xiaoming279/%E9%9D%A2%E6%9D%BF.zip 主机面板 主要包括日访问量,访问分布情况,访问曲线,状态码,蜘蛛等,在主机名可选择某一主机,查看某一主机情况。 阅读全文
posted @ 2016-12-26 13:55 hexm 阅读(6179) 评论(0) 推荐(0) 编辑
摘要: Hash目录是一种优化文件存储性能的方法。无论是Windows还是Linux,无论是NTFS还是ext4,每个目录下所能容纳的项目数是有限的。并不是不能保存,而是当项目数量过大的时候,会降低文件索引速度,所以权衡一个目录下应该保存多少文件是很必要的。保存得多了会影响性能,保存得少了会造成目录太多和空 阅读全文
posted @ 2016-12-26 13:35 hexm 阅读(415) 评论(0) 推荐(0) 编辑
摘要: Introduction RabbitMQ is a message broker. The principal idea is pretty simple: it accepts and forwards messages. You can think about it as a post off 阅读全文
posted @ 2016-12-16 09:22 hexm 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 线上一个小业务的mysql备份 全量备份 增量备份 定时任务 阅读全文
posted @ 2016-12-14 11:39 hexm 阅读(2362) 评论(0) 推荐(0) 编辑
摘要: 在grafana界面中发现不少499的状态码,在网上了解到出现499的原因大体都是说服务端处理时间过长,客户端主动关闭了连接。 既然原因可能是服务端处理时间太长了,看一下upstream_response_time时间可以了解到后端程序处理了多久。 先了解一下什么是upstream_response 阅读全文
posted @ 2016-12-13 17:16 hexm 阅读(5654) 评论(0) 推荐(0) 编辑
联系我:xiaoming.unix@gmail.com