随笔分类 - Scrapy框架
摘要:Scrapy爬取色花堂磁力和图片 重点说明爬取图片 一.创建项目 scrapy startproject SeHuaTang scrapy genspider SeHuaTang "" 二.修改settings.py文件 # 控制日志输出等级 LOG_LEVEL = "WARNING" # 定义爬取
阅读全文
摘要:在pycharm中调试和运行scrapy 通常,运行scrapy爬虫的方式是在命令行输入scrapy crawl <spider_name>,调试的常用方式是在命令行输入scrapy shell <url_name>。总的来说,调试方法比较单一。其实,还有两种调试方法,可以在pycharm中实现调试
阅读全文
摘要:scrapy循环爬取色花堂标题和浏览次数 爬虫部分代码 import scrapy class ItcastSpider(scrapy.Spider): name = 'sehuatang' # 爬虫名 # allowed_domains = ['itcast.cn'] #允许爬虫的范围 start
阅读全文
摘要:scrapy基本使用 1. 安装 pip install scrapy 2. 使用 创建项目 scrapy startproject 你的项目名 创建成功后会显示创建的位置,可以用pycharm打开 打开终端,切换到项目所在目录 执行: scrapy genspider 爬虫名称 "爬虫域" 运行
阅读全文