异步redis
摘要：
数据库的链接，断开及操作都是网络IO pip install aioredis 阅读全文
posted @ 2021-04-20 23:58 吉阿吉 阅读(29) 评论(0) 推荐(0) 编辑
京东爬虫
摘要：
总体采用广度优先策略 一、分析分类信息URL: https://dc.3.cn/category/get 阅读全文
posted @ 2021-04-20 21:28 吉阿吉 阅读(223) 评论(0) 推荐(0) 编辑
代理池项目
摘要：
一、代理池概述 免费代理不稳定，通常只有10%可用，便宜收费代理也只有30%-50%的可用，只有代理IP提供商可提供高可用的代理。(智连HTTP) 五、代理池工具模块 1.日志模块，日志代码项目之间可以复用 import sysimport loggingLOG_LEVEL=logging.INFO 阅读全文
posted @ 2021-04-20 21:10 吉阿吉 阅读(86) 评论(0) 推荐(0) 编辑
国家企业信用公告系统爬虫
摘要：
一、直接请求报错 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <521 http://www.gsxt.gov.cn/corp-query-entprise-info-xxgg-100000.html>: HTTP sta 阅读全文
posted @ 2021-04-20 15:31 吉阿吉 阅读(634) 评论(0) 推荐(0) 编辑
scrapy爬虫错误笔记
摘要：
一、 twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side 阅读全文
posted @ 2021-04-20 15:12 吉阿吉 阅读(395) 评论(0) 推荐(0) 编辑
