python scrapy
scrapy的安装 pip install Scrapy
scrapy 常用命令
scrapy提供了两种类型的命令。一种必须在Scrapy项目中运行,是针对项目的命令;另外一种则不需要,属于全局命令
全局命令:
startproject 用法 scrapy startproject <project_name>。用于在project_name文件夹下创建一个名为project_name的Scrapy项目 实例scrapy startproject myproject
settings 用法 scrapy settings [options] 在项目中运行时,该命令将会输出项目的设定值,否则输出Scrapy默认设定,示例如下 scrapy settings --get BOT_NAME,scrapy setting --get DOWLOAD_DELAY
runspider scrapy runspider <spider_file.py> 在未创建项目的情况下,运行一个编写好的spider模块。示例如下 scrapy runspider cnblogs_spider.py
shell scrapy shell [url] 用来启动Scrapy shell,url为可选 示例如 scrapy shell http://www.cnblogs.com/paulversion/
fetch scrapy fetch <url> 使用Scrapy下载器(downloader)下载给定的URL,并将获取到的内容送到标准输出。该命令以spider下载页面的方式获取页面,如果在项目中运行,fetch将会使用项目中spider的属性访问。如果在非项目中运行,则会使用默认Scrapy dowmloader设定
示例如下：
scrapy fetch --nolog "http://www.cnblogs.com/paulversion/"
scrapy fetch --nolog --headers "http://www.cnblogs.com/paulversion/"
view scrapy view<url> 在浏览器中打开给定的URL,并以scrapy spider 获取到的形式展现。scrapy view "http://www.cnblogs.com/paulversion/"
version scrapy version [-] 输出scrapy 版本
bench scrapy bench 用于benchmark 测试，测试scrapy在硬件上的效率。
项目命令:
crawl scrapy crawl <spider> 用来使用spider进行爬取 示例如下 scrapy crawl cnblogs
check scrapy check [-l] <spider> 运行contract检查,示例如下：scrapy check -l
list scrapy list 列出当前项目中所有可用的spider,每行输出一个spider
edit scrapy edit <spider> 使用设定的编辑器编辑给定的spider。该命令仅仅是提供一个快捷方式,开发者可以自由选择其他工具或者IDE来编写调试spider scrapy edit cnblogs
parse scrapy parse <url> [options] 获取给定的URL并使用相应的spider分析处理。如果提供--callback选项
genspider scrapy genspider[-t template]<name><domain>。可以在当前项目中创建spider。
deploy scrapy deploy [<target:projet>|-l<target>|-L] 将项目部署到Scrapyd服务
定义Item
将爬取的数据以结构化的方式保存。scrapy提供Item类来满足这样的需求。在使用scrapy新建的项目中,有一个item.py文件,用来定义存储数据的Item类。这个类需要继承scrapy.Item
代码如下
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
#定义item
class CnblogspiderItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
url = scrapy.Field()
time = scrapy.Field()
title = scrapy.Field()
#content = scrapy.Field()
创建 CnblogspiderItem对象
item = CnblogspiderItem(title="Python爬虫",content='爬虫开发')
获取字段的值
print item['title']
print item['conetent']
设置字段的值
item['title'] = 'paulversion'
获取所有的key或值
item.keys() 获取所有的键 item.items()获取所有的值
item 复制
item2 = CnblogspiderItem(item)
item3 = item.copy()
dict与item的转化
dict_item = dict(item)
item = CnblogspiderItem({'title':'爬虫','content':'开发'})
翻页
翻页的功能的实现,本质上是构造Request并提交给Scrapy引擎的过程
# coding:utf-8
import scrapy
from cnblogSpider.items import CnblogspiderItem
from scrapy import Selector
class CnblogsSpider(scrapy.Spider):
name = 'cnblogs' # 爬虫的名称
allowed_domains = ["cnblogs.com"] # 允许的域名
start_urls = [
'http://www.cnblogs.com/qiyeboy/default.html?page=1'
]
# 网页解析地址
def parse(self, response):
# 实现网页的解析
# 首先抽取所有的文章
papers = response.xpath(".//*[@class='day']")
# 从每篇文章中抽取数据
for paper in papers:
url = paper.xpath(".//*[@class='postTitle']/a/@href").extract()[0]
title = paper.xpath(".//*[@class='postTitle']/a/text()").extract()[0]
time = paper.xpath(".//*[@class='dayTitle']/a/text()").extract()[0]
content = paper.xpath(".//*[@class='postCon']/div/text()").extract()[0]
item = CnblogspiderItem(url=url, title=title, time=time)
yield item
next_page = Selector(response).re(u'<a href = "(\S*)">下一页</a>')
if next_page:
yield scrapy.Request(url=next_page[0], callback=self.parse)#实现翻页的功能
构建Item Pipeline
当Item在Spider中被收集之后,它将会被传递到Item Pipeline
Item Pipeline 主要有以下典型应用:
1:清理HTML数据
2:验证爬取的数据的合法性,检查Item是否包含某些字段
3:查重并丢弃
4:将爬取结果保存到文件或者数据库中
每次创建一个项目在项目的pipelines.py文件 代码如下
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json
from scrapy.exceptions import DropItem
class CnblogspiderPipeline(object):
def __init__(self):
self.file = open('paper.json', 'wb')
def process_item(self, item, spider):
if item['title']:
line = json.dumps(dict(item)) + "\n"
self.file.write(line)
return item
else:
raise DropItem("Missing title in %s" %item)
