2019年2月15日

01_爬虫伪装成浏览器的四种方法

摘要: 好多网站对于爬虫中没有进行浏览器伪装的会进行反爬, 以糗事百科网站为例 下面提供了三种方法添加headers,使爬虫能够伪装成浏览器访问。 备注: 方法二和方法三中省略了 方法一:通过opener添加header 方法二:通过opener批量添加header 方法三:通过Request添加heade 阅读全文

posted @ 2019-02-15 23:16 Summer儿 阅读(7873) 评论(0) 推荐(0) 编辑

01_基于TCP的循环为同一个客户端下载文件的下载器

摘要: 原版: TCP分为客户端(client)和服务器(server),每次服务器只能为客户端提供一次的下载服务。 改良版: TCP分为客户端(client)和服务器(server), (1)每次服务器能为客服端循环提供下载服务, (2)服务器能够识别出不存在的文件并且发送客户端, (3)客户端能够通过输 阅读全文

posted @ 2019-02-15 17:28 Summer儿 阅读(311) 评论(0) 推荐(0) 编辑

导航