2019年10月20日

scrapy,Twisted,pywin32安装

摘要: 安装包链接 百度云下载 https://pan.baidu.com/s/1V191nOtEDInxd_fkyi5siQ&shfl=sharepset 在安装相关软件之前必须查看版本号信息 版本选择注意点 注意不是下载amd 64 系列,否则会报错 阅读全文

posted @ 2019-10-20 18:49 情难眠2 阅读(316) 评论(0) 推荐(0) 编辑

爬虫进阶

摘要: 文章出处 https://www.cnblogs.com/wupeiqi/articles/6229292.html 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_asy 阅读全文

posted @ 2019-10-20 11:38 情难眠2 阅读(147) 评论(0) 推荐(0) 编辑

导航