2019年12月6日

Scrapy的 Shell终端

摘要： crapy Shell Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端) 阅读全文

posted @ 2019-12-06 20:01 LoaderMan 阅读(284) 评论(0) 推荐(0) 编辑

scrapy入门案例

摘要： 一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令： 其中， mySpider 为项目名称，可以看到将会创建一个 scrapyDemo 文件夹，目录结构大致如下： 各个主要文件的作用： scrapy.cfg 阅读全文

posted @ 2019-12-06 19:59 LoaderMan 阅读(223) 评论(0) 推荐(0) 编辑

导航