摘要：
按学科分类【中图分类】 共计三十余万条科技报告数据 爬取的网址：https://www.nstrs.cn/kjbg/navigation ！！！ 如果要完整地跑起来代码，需要先看一下我的这篇博客，完成IP代理池的相关配置： https://www.cnblogs.com/rainbow-1/p/16 阅读全文
摘要：
关注我的公众号【靠谱杨阅读人生】回复ProxyPool可以免费获取网盘链接。 也可自行搜索下载：https://github.com/Python3WebSpider/ProxyPool.git 1、下载之后打开setting文件修改redis相关配置。 2、之后开启本机redis服务，就可以直接运 阅读全文
摘要：
python爬虫随机headers伪装fake_useragent fake_useragent 库 调用方法ua.random可以随机返回一个headers(User-Agent) from fake_useragent import UserAgent # 下载：pip install fake 阅读全文