摘要：
spider 定义：在spiders文件夹中由用户自定义，继承scrapy.Spider类或其子类 Spider并没有提供什么特殊的功能。 其仅仅请求给定的 start_urls/start_requests ，并根据返回的结果(resulting responses)调用spider的 parse 阅读全文
随笔分类 - scrapy
pycharm调试scrapy
2018-04-08 23:14 by ZealouSnesS, 271 阅读, 收藏, 编辑
摘要：
pycharm调试scrapy 创建一个run.py文件作为调试入口 run.py中，name是要调试的爬虫的名字（注意，是爬虫类中的name，而不是爬虫类所在文件的名字） 拼接爬虫运行的命令，然后用cmdline.execute()执行拼接成的命令 注意，.split()必须加，不然会报错（spl 阅读全文
scrapy item
2018-04-08 23:11 by ZealouSnesS, 251 阅读, 收藏, 编辑
摘要：
item item定义了爬取的数据的model item的使用类似于dict 定义 在items.py中，继承scrapy.Item类，字段类型scrapy.Field() 实例化：（假设定义了一个名为Product的item类） Product(key1=value1, key2=value2) 阅读全文
