摘要：
一个简单的python日志服务器，主要目的是搜集各python logging记录的日志，将其简单汇总。源码如下：# -*- coding: utf-8 -*-'''Created on 2012-06-14 19:50@summary: a simple logging server. use gevent and logging modules@author: JerryKwan'''import osimport pickleimport loggingimport logging.handlersimport structfrom gev 阅读全文
摘要：
在使用scrapy做爬虫的时候碰到一个问题，耗了挺长时间都没有解决，关键是从日志里面没有看出问题，最后还是通过阅读源码才找出问题所在。在此将问题现象以及解决方法记录一下。现象： 在一个页面中有n多的连接，url的正则表达式如下：r"en/descriptions/[\d]+/[-:\.\w]+$"，大部分连接都能抓取下来，但部分如 en/descriptions/32725456/not-a-virus:Client-SMTP.Win32.Blat.ai， en/descriptions/33444568/not-a-virus:Client-SMTP.Win32.Blat 阅读全文