摘要: ''' extract()拿到的是字符串 xpath拿到的是selector对象,可以继续往下面找标签 //是孙子,子子孙孙,都可以找到 /是孩子 @是找属性 .是在当前的标签下面往下找 extra_first()只取第一个值 ./儿子(当前标签下面) .//当前标签下面的孙子,子子孙孙都可以 ex 阅读全文
posted @ 2018-11-12 07:14 风不再来 阅读(407) 评论(0) 推荐(0) 编辑
摘要: from scrapy import signals engine_started = object() engine_stopped = object() spider_opened = object() spider_idle = object() 爬虫被闲置的时候 spider_closed = object() spider_error = object() request_sc... 阅读全文
posted @ 2018-11-12 04:09 风不再来 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 不在终端运行爬虫方法:不在终端运行爬虫,可以在最外层项目的下创建start.py文件导入如下配置:直接运行就可以了 自定制scrapy命令方法: 在settings里面的配置:COMMANDS_MODULE='scrapyproject1.commands' 首先在你要启动的项目下面(spider的 阅读全文
posted @ 2018-11-12 01:56 风不再来 阅读(170) 评论(0) 推荐(0) 编辑