04 2019 档案

python爬虫之如何随机更换User-Agent
摘要：python爬虫爬取网站内容时，如果什么也没带，即不带报头headers，往往会被网站管理维护人员认定为机器爬虫。因为，此时python默认的user-agent如Python-urllib/2.1一样。因此，网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以，此时往往就需要伪装 阅读全文
posted @ 2019-04-10 10:58 BruceLong 阅读(1663) 评论(0) 推荐(0) 编辑
celery 定时任务时间篇
摘要：1、Celery加入定时任务 Celery除了可以异步执行任务之外，还可以定时执行任务。在实例代码的基础上写个测试方法： 该代码是每分钟执行一次some_task方法。 启动celery是使用worker。但worker不能启动定时任务。启动方式如下： 1）先确保中间人是否打开，我使用redis作为 阅读全文
posted @ 2019-04-09 09:38 BruceLong 阅读(3852) 评论(4) 推荐(3) 编辑
python windows时间同步工具
摘要：由于某种原因（BIOS电池没电），电脑的系统时间会与我们的北京时间不同步，将会导致如下问题： 1. 抢火车票的时候已经过时间了 2.别的同事都走了，你还以为没下班 …… 规避问题的方法：同步系统时间 一. 获取时间 在这里，我们有两种方法 1. 通过系统请求网站服务器头部返回Respones Hea 阅读全文
posted @ 2019-04-01 21:16 BruceLong 阅读(2014) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示