摘要：通过Scrapy的自有文件我们可以看到内置的UserAgent是如何设置的 scrapy.downloadermiddlewares.useragent.UserAgentMiddleware """Set User-Agent header per spider or use a default 阅读全文

摘要：docs Spider中间件启用，setting.py文件 SPIDER_MIDDLEWARES = { 'crawler.middlewares.CrawlerSpiderMiddleware': 543, } from scrapy import signals class CrawlerSpi 阅读全文

摘要：logrotate vim /etc/logrotate.d/nginx /usr/local/nginx/logs/*.log { daily # 指定转储周期为每天 rotate 7 # 保留7份 missingok # 如果日志丢失，不报错继续滚动下一个日志 notifempty # 当日志文 阅读全文

摘要：Logrotate是基于CRON来运行的，其脚本是/etc/cron.daily/logrotate，实际运行时，Logrotate会调用配置文件/etc/logrotate.conf. 重要参数说明 compress #通过gzip 压缩转储以后的日志 nocompress #不做gzip压缩处理 阅读全文