五杀摇滚小拉夫

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2018年8月27日

摘要: 1.extract():提取数据 2./text() :获取节点内容文本 3./@href :获取节点href属性 4. @ :获取属性名称 需要注意问题: 用定义的规则那所有符合要求的节点获取下来,返回的类型是列表类型。 但是如果节点只有一个就会出现错误: 大多数情况下,想要的是第一个元素的内容, 阅读全文
posted @ 2018-08-27 14:56 五杀摇滚小拉夫 阅读(110) 评论(0) 推荐(0) 编辑

摘要: Selector是一个独立的模块。 Selector主要是与scrapy结合使用的。 开启Scrapy shell: 1.打开命令行cmd 2.scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html 进入 阅读全文
posted @ 2018-08-27 14:45 五杀摇滚小拉夫 阅读(123) 评论(0) 推荐(0) 编辑

摘要: 目标:创建scrapy项目 创建一个spider来抓取站点和处理数据 通过命令行将抓取内容导出 1.创建项目 scrapy startproject tutorial 2.创建spider cd tutorial scrapy genspider quotes quotes.toscrape.com 阅读全文
posted @ 2018-08-27 14:28 五杀摇滚小拉夫 阅读(215) 评论(0) 推荐(0) 编辑