摘要: scrapy shell 交互窗口的使用 1、打开scrapy shell 在命令行cmd终端输入命令 # scrapy shell 网址 scrapy shell http://www.baidu.com # 注意网址不需要加引号,不是字符串。因为这里是终端。 2、利用shell调试代码 调试sc 阅读全文
posted @ 2020-11-15 20:53 流水自净 阅读(195) 评论(0) 推荐(0) 编辑
摘要: scrapy框架的运行与调试 1、运行scrapy框架的第一种方法是在终端输入命令: scrapy crawl 爬虫文件名 # 忽略运行详细信息 scrapy crawl 爬虫文件名 --nolog 2、第二种方法是在项目文件最高层目录下创建运行文件: # start.py from scrapy. 阅读全文
posted @ 2020-11-15 18:22 流水自净 阅读(617) 评论(0) 推荐(0) 编辑
摘要: scrapy爬虫框架 1、下载安装scrapy 在命令行cmd中安装 scrapy pip install scrapy -i https://pypi.douban.com/simple 输入 scrapy 确认安装好了,红色方框框住的是常用的命令 2、创建scrapy项目 scrapy star 阅读全文
posted @ 2020-11-15 17:17 流水自净 阅读(110) 评论(0) 推荐(0) 编辑