摘要: 写爬虫的时候,在进行 request 请求的时候,多数情况下需要添加请求头,否则就不能正常请求。 添加请求头最常用的做法是修改 User-Agent 来伪装浏览器。 以前在写请求头的时候,都是通过 copy 来解决的,昨天看到了一个库 fake-useragent,以后再也不用烦恼了。 官网地址:h 阅读全文
posted @ 2018-10-29 11:25 丹枫无迹 阅读(2959) 评论(0) 推荐(0) 编辑
摘要: 第四关需要用到多线程,需要注意的是,黑板课服务器15秒内最多返回两个请求,否则返回404,所以,开20个线程和开2个线程是一样的。 阅读全文
posted @ 2018-10-29 09:54 丹枫无迹 阅读(586) 评论(0) 推荐(1) 编辑