李小峰_

摘要： scrapy parse函数为什么执行了，打印不了内容 解决： 1.找到settings.py配置文件 把ROBOTSTXT修改为False 2.然后退出重启一下scrapy（pychram） 3.直接启动项目scrapy crawl baidu --nolog(不打印日志) 阅读全文

摘要： scrapy-Request中的回调函数不执行1.加上参数dont_filter=True（去重）2.查看是不是allowed_domains范围内的url3.yield Request 改为yield scrapy.http.Request 阅读全文

摘要： 简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中，Scrapy用途广泛可以用于数据挖掘检测和自动化测试，Scrapy使用Twisted异步网络库来处理网络通信。 流程图 调度器把request对象交给引擎，引擎负责把r 阅读全文

摘要： 问题：scrapy crawl xxx命令时，提示 import win32api ModuleNotFoundError: No module named 'win32api' 原因：没有安装wind32api 安装： 找到于自己python解释器对应的版本进行安装 https://github. 阅读全文

摘要： 1.使用for循环建立多维列表： 思路：先建立默认初始化空列表，使用一个变量来接收列表的数量，在使用在弄一个变量接收每个列表内的内容有多少个，最后在设置写入的内容。 2.编写一个随机多维列表 思路：与同上方法类型，把输入的变量换成随机数就可以了 3.对所有元素求和 思路：这是一个二维列表，直接遍历二 阅读全文