摘要：
nginx-1.8.0 rpm包制作见上篇文章：http://www.cnblogs.com/xiaoming279/p/6251149.html spec文件 阅读全文
摘要：
1、安装rpm-build 2、创建制作RPM包目录 3、将源码拷贝到/root/rpmbuild/SOURCES目录下 4、编写SPEC文件 5 使用rpmbuild制作rpm包 可以先使用bp参数，再bc参数，再bi参数，最后再ba参数 阅读全文
摘要：
collections模块基本介绍 collections在通用的容器dict,list,set和tuple之上提供了几个可选的数据类型 namedtuple() tuple类似于数组，只能通过下表来访问各个元素。使用namedtuple，每个元素有自己的名字，数据的意义一目了然。 命名元组还有三种 阅读全文
摘要：
先谈下我们需求，一个比较大的nginx访问日志，根据访问日期切割日志，保存在/tmp目录下。 测试机器为腾讯云机子，单核1G内存。测试日志大小80M。 不使用多线程版： #!/usr/bin/env python # coding=utf-8 import re import datetime if 阅读全文
摘要：
早上收到502报警，设置的报警规则是502错误两分钟超过500就报警。 排障流程: 日志分析系统报障-->查看日志系统日志-->nginx错误日志-->php错误日志-->php-fpm.log日志 在日志分析系统里面看到产生502报警的机器只有一台xxx.xxx.xxx.170,客户端IP也只有一 阅读全文
摘要：
怎么从一个集合中获取最大或最小的N个元素列表？ heapq模块有两个函数：nlargest() 和 nsmallest() 可以完美解决这个问题。 两个函数都能接受一个关键字参数，用于更复杂的数据结构中： 以price值进行比较 In [33]: heapq.nlargest(3, portfoli 阅读全文
摘要：
useragent： 代码（不包含蜘蛛）： 结果： 蜘蛛： 执行结果： 阅读全文
摘要：
代码： 结果： 代码解释： mapper()方法：接收一行访问日志，将数据解析成key=请求的URL，value=1 reducer_sum()方法：计算出每个请求的URL的访问量，并输出 null [3, "/forum.php"]这种形式 reducer_top10()方法：对[3, "/for 阅读全文
摘要：
代码： 执行结果 阅读全文
摘要：
代码： 代码解释： 定义了一个集成MRJob类的job类，这个类包含定义好的steps。 一个‘step’包含一个mapper，combiner和一个reducer，这些是可选的，但是必须使用至少一个。 mapper()方法有两个参数key,value（这个例子中，key被忽略，每行日志作为一个va 阅读全文