摘要: 在pycharm中调试和运行scrapy 通常,运行scrapy爬虫的方式是在命令行输入scrapy crawl <spider_name>,调试的常用方式是在命令行输入scrapy shell <url_name>。总的来说,调试方法比较单一。其实,还有两种调试方法,可以在pycharm中实现调试 阅读全文
posted @ 2021-10-07 18:53 那个商同学 阅读(313) 评论(0) 推荐(0) 编辑
摘要: scrapy循环爬取色花堂标题和浏览次数 爬虫部分代码 import scrapy class ItcastSpider(scrapy.Spider): name = 'sehuatang' # 爬虫名 # allowed_domains = ['itcast.cn'] #允许爬虫的范围 start 阅读全文
posted @ 2021-10-07 18:03 那个商同学 阅读(12168) 评论(0) 推荐(0) 编辑
摘要: scrapy基本使用 1. 安装 pip install scrapy 2. 使用 创建项目 scrapy startproject 你的项目名 创建成功后会显示创建的位置,可以用pycharm打开 打开终端,切换到项目所在目录 执行: scrapy genspider 爬虫名称 "爬虫域" 运行 阅读全文
posted @ 2021-10-07 17:51 那个商同学 阅读(102) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示