Scrapy爬取知名技术文章网站
scrapy安装以及目录结构介绍
创建有python3的虚拟环境
mkvirtualenv mkvirtualenv py3env
安装scrapy
进入虚拟环境py3env,把pip的源设置为豆瓣源。这个命令执行完毕后,以后使用pip安装Python包时就会从豆瓣源下载,速度会更快
pip config set global.index-url https://pypi.doubanio.com/simple
安装scrapy依赖包lxml、twisted
安装scrapy
pip install -i https://pypi.douban.com/simple/ scrapy
补充
进入虚拟环境: workon py3env
创建项目: scrapy startproject ArticleSpider
建立spider: scrapy genspider jobbole blog.jobbple.com
PyCharm 调试scrapy 执行流程
scrapy目录结构:
scrapy.cfg
:配置文件setings.py
:基本设置SPIDER_MODULES = ['ArticleSpider.spiders'] #存放spider的路径 NEWSPIDER_MODULE = 'ArticleSpider.spiders'
- pipelines.py:做跟数据存储相关的东西
- middilewares.py:自己定义的middlewares 定义方法,处理响应的IO操作
- init.py:项目的初始化文件
- items.py:定义我们所要爬取的信息的相关属性。Item对象是种类似于表单,用来保存获取到的数据
此时,pycharm下articlespiders项目还没完全配置好:
①需要在pycharm的setting中的project interpreter下配置python:使用虚拟环境articlespider下的python3.6
②爬虫项目不像Django项目,没有自动配置好调试或运行相关,需要我们手动生成一个main.py文件,作为启动文件:
在PyCharm中运行爬虫文件
在ArticleSpider文件根目录下建立main.py文件
要学会用断点和DEBUG
在实战中操作
可能出现的错误
File "C:\Users\用户名\AppData\Local\Programs\Python\Python39\lib\site-packages\cryptography\exceptions.py", line 9, in <module>
from cryptography.hazmat.bindings._rust import exceptions as rust_exceptions
ImportError: DLL load failed while importing _rust: 找不到指定的程序。解决方法:尝试过网上一系列解决方法,没有解决。所使用版本为Python3.9.0,换个版本问题解决。。。
xpath的用法
xpath简介
- xpath使用路径表达式在xml和html中进行导航。
- xpath包含标准函数库。
- xpath是一个w3c的标准。
- xpath速度要远远超beautifulsoup
xpath节点关系
- 父节点
- 子节点
- 同胞节点
- 先辈节点
- 后代节点
xpath语法
表达式 |
说明 |
article |
选取所有article元素的所有子节点 |
/article |
选取根元素article |
article/a |
选取所有属于article的子元素的a元素 |
//div |
选取所有div子元素(不论出现在文档任何地方) |
article//div |
选取所有属于article元素的后代的div元素,不管它出现在article之下的任何位置 |
//@class |
选取所有名为class的属性 |
/article/div[1] |
选取属于article子元素的第一个div元素 |
/article/div[last()] |
选取属于article子元素的最后一个div元素 |
/article/div[last()-1] |
选取属于article子元素的倒数第二个div元素 |
//div[@lang] |
选取所有拥有lang属性的div元素 |
//div[@lang='eng'] |
选取所有lang属性为eng的div元素 |
/div/* |
选取属于div元素的所有子节点 |
//* |
选取所有元素 |
//div[@*] |
选取所有带属性的div元素 |
//div/a | //div/p |
选取所有div元素的a和p元素 |
//span | //ul |
选取文档中的span和ul元素 |
article/div/p | //span |
选取所有属于article元素的div元素的p元素 以及 文档中所有的span元素 |
contains()用法
response.xpath("//span[contains(@class, 'bookmark-btn')]/text()").extract()[0]
表示在span标签中class属性中含有 bookmark-btn 即为符合
正文保留html标签,以便后续研究
scrapy shell url 调试xpath
如果在py3中就都显示中文了
re.math(reg,html).group() #正则匹配
tag_list=['职场','2 评论','今昔'] [element for element in tag_list if not element.strip().endswith('评论')] #结果['职场', '今昔']
xpath提取元素
css选择器实现字段解析
编写spider完成抓取过程
parse.urljoin(url,post_url)的使用
实现模拟登陆(undetected_chromedriver)
上处代码使用undetected_chromedriver时会自动识别Chrome浏览器版本并自动下载对应的Chromedriver,运行时总是下载失败一直未解决,为了后续项目进行,采用selenium模拟登录,登录时会被cnblog反爬识别,采用qq登录即可
from selenium import webdriver driver = webdriver.Chrome() driver.get("https://account.cnblogs.com/signin")
完成页面爬取
提取详情页信息
item的使用
数据爬取的任务就是从非结构的数据中提取出结构性的数据。
items 可以让我们自定义自己的字段(类似于字典,但比字典的功能更齐全)
当我们爬取数据,获 取数据后需要将数据传给下个函数调用,则可以利用scrapy request下的meta属性,meta接收的是字典类型,当使用request爬取数据时,将需要传递给下个函数的数据放到meta中,meta中的数据会传给下个函数的response中去,可以被下个函数使用
关于scrapy request的meta:
Request中meta参数的作用是传递信息给下一个函数,使用过程可以理解成:
把需要传递的信息赋值给这个叫meta的变量,
但meta只接受字典类型的赋值,因此
要把待传递的信息改成“字典”的形式,即:
meta={'key1':value1,'key2':value2}
如果想在下一个函数中取出value1,
只需得到上一个函数的meta['key1']即可,
因为meta是随着Request产生时传递的,
下一个函数得到的Response对象中就会有meta,
即response.meta,
meta是一个dict,主要是用解析函数之间传递值,一种常见的情况:在parse中给item某些字段提取了值,但是另外一些值需要在parse_item中提取,这时候需要将parse中的item传到parse_item方法中处理,显然无法直接给parse_item设置而外参数。 Request对象接受一个meta参数,一个字典对象,同时Response对象有一个meta属性可以取到相应request传过来的meta
request meta
request meta
关于urllib parse.urljoin(url1,url2):
parse.url:能将相对路径,自动补充域名补全路径,前提主域名response能获取域名路径
一般爬取网上数据时,存在网页某些url是相对路径形式展示的,通过js代码等操作补全,此时我们要爬取完整url路径,就需要用到parse.urljoin方法了
如果你是相对路径,没有补全域名,我就从response里取出来补全,如果你有域名我则不起作用
items.py创建类
在jobbole.py parse_detail 中实例化 JobBoleArticleItem , 并将爬取到的数据放入 JobBoleArticleItem 对象中:
setting的相关设置
robot协议:目标网站禁止爬取的连接目录
# Obey robots.txt rules ROBOTSTXT_OBEY = False
pipelines管道
ITEM_PIPELINES:item的管道,配置好ArticlespiderPipeline路径,当执行代码 yield article_item 时,程序会转到pipelines.py文件中执行 ArticlespiderPipeline 类,
也就是通过 yield article_item 将article_item数据传给pipelines调用。并执行pipelines中的相关类,如: ArticlespiderPipeline ,在 ArticlespiderPipeline 类中,我们可以通过代码编写,将数据存到数据库中去
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# Configure item pipelines # See https://docs.scrapy.org/en/latest/topics/item-pipeline.html ITEM_PIPELINES = { "ArticleSpider.pipelines.ArticlespiderPipeline": 300, }
pipelines.py文件代码
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
class ArticlespiderPipeline: def process_item(self, item, spider): return item
scrapy配置图片下载
配置setting.py
配置pipeline
ITEM_PIPELINES = { "ArticleSpider.pipelines.ArticlespiderPipeline": 300, "scrapy.pipelines.images.ImagesPipeline": 1 }
配置images文件夹的路径:
Scrapy中的pipelines提供了默认的文件、图片、媒体等下载保存方式,如上所述,将路径配置上去就会相应的执行scrapy/pipelines的相关函数 ,
另外,ITEM_PIPELINES是一个数据管道的登记表,每一项后面的具体数字代表它的优先级,数字越小,越早进入管道执行
接下来我们新建一个images文件夹用于保存图片,在setting中配置images文件夹的路径:
import sys import os project_dir = os.path.dirname(os.path.abspath(__file__)) IMAGES_STORE = os.path.join(project_dir, "images"):
指定某字段(我们获取图片路径的字段)为我们的图片文件处理
IMAGES_URLS_FIELD = "front_image_url" # 指定爬取的某(图片)字段作为图片处理
若报错ModuleNotFoundError:No module named 'PIL',是因为图片保存等需要pillow库来操作,解决方法在虚拟环境中安装pillow:pip install pillow
若报错ValueError:Missing scheme in request url:h
原因是'scrapy.pipelines.images.ImagesPipeline' 中对图片的要求是数组格式,而我们目前传递的图片类型(front_image_url)是字符串格式,因此我们需要将爬取的图片类型改成数组类型获取
article_item["front_image_url"] = front_image_url # ↓改成数组形式 article_item["front_image_url"] = [front_image_url]
额外知识:
scrapy下的pipelines目录下有files.py、images.py、media.py ,用于处理文件、图片、用户上传下载媒体等数据
IMAGES_URLS_FIELD = "front_image_url" # 指定该字段作为图片处理对象 IMAGES_STORE = os.path.join(project_dir, 'images') # 图片存放路径 IMAGES_MIN_HEIGHT = 100 # 图片最小高度 IMAGES_MIN_WIDTH = 100 # 图片最小宽度使用scrapy自带的image.py处理图片,只需要按要求命名一致,以及在ITEM_PIPELINES 配置好所使用的类即可:ImagesPipeline ,
使用files.py、media.py也是一样的道理。
数据保存相关
保存到本地json文件中
方式一:
在pipelines.py文件中新建类:JsonWithEncodingPipeline
打开文件时不直接使用 open ,用python自带的codecs包,可以避免一些编码方面的问题出现
使用json.dumps时,不使用ensure_ascii=False ,默认输出中文是ASCII字符码,要想正确输出中文,需要指定ensure_ascii=False
pipelines.py/JsonWithEncodingPipelines:
class JsonWithEncodingPipeline(object): # 自定义json文件的导出 def __init__(self): self.file = codecs.open('article.json', 'w', 'utf-8') def process_item(self, item, spider): # 将数据转换为字符串 lines = json.dumps(dict(item), ensure_ascii=False) + "\n" self.file.write(lines) return item def spider_closed(self, spider): self.file.close()
在setting中配置ITEM_PIPELINES:
ITEM_PIPELINES = { 'ArticleSpider.pipelines.JsonWithEncodingPipeline': 2, }
当爬虫爬取数据,保存到 item 中,经过yield item ,转到pipelines中执行里面的类
方式二:
使用scrapy中自带的类保存文件:
# scrapy/exporters ['BaseItemExporter', 'PprintItemExporter', 'PickleItemExporter','CsvItemExporter', 'XmlItemExporter','JsonLinesItemExporter','JsonItemExporter', # 保存json文件 'MarshalItemExporter']
from scrapy.exporters import JsonItemExporter class JsonExporterPipeline(object): #调用scrapy提供的json export导出json文件 def __init__(self): self.file = open('articleexport.json', 'wb') self.exporter = JsonItemExporter(self.file, encoding="utf-8", ensure_ascii=False) self.exporter.start_exporting() def process_item(self, item, spider): self.exporter.export_item(item) return item def spider_closed(self, spider): self.exporter.finish_exporting() self.file.close()
在setting中配置ITEM_PIPELINES:
ITEM_PIPELINES = { "ArticleSpider.pipelines.JsonExporterPipeline": 3, }
将数据保存到mysql中
在虚拟环境下安装:mysqlclient
pip install mysqlclient
开始我们的数据保存到mysql操作
方式一: 利用pipelines保存数据到数据库(同步)
import MySQLdb class MysqlPipeline(object): # 数据保存 def __init__(self): """ 初始化构造函数,连接数据库 """ self.conn = MySQLdb.connect("127.0.0.1", "root", "123456", "article_spider", charset="utf8", use_unicode=True) self.cursor = self.conn.cursor()# 创建游标 def process_item(self, item, spider): """ 处理数据 """ insert_sql = """ insert into jobbole_article(title, url, url_object_id, front_image_url, front_image_path, parise_nums, comment_nums, fav_nums, tags, content, create_date) values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s) """ params = list() params.append(item.get("title", "")) params.append(item.get("url", "")) params.append(item.get("url_object_id", "")) # 将list[]转换成字符串 front_image = ",".join(item.get("front_image_url", [])) params.append(item.get(front_image)) params.append(item.get("front_image_path", "")) params.append(item.get("parise_nums", 0)) params.append(item.get("content_nums", 0)) params.append(item.get("fav_nums", 0)) params.append(item.get("tags", "")) params.append(item.get("content", "")) params.append(item.get("create_date", "1970-01-01")) self.cursor.execute(insert_sql, (params)) self.conn.commit() return item
在setting中配置ITEM_PIPELINES:
ITEM_PIPELINES = { "ArticleSpider.pipelines.MysqlPipeline": 4, }
方式二:利用pipelines保存数据到数据库(twisted异步)
因为我们的爬取速度可能大于数据库存储的速度,最好是异步操作(异步化操作mysql)
在setting.py中配置数据库连接的相关配置参数:
MYSQL_HOST = "127.0.0.1"
MYSQL_DBNAME = "article_spider"
MYSQL_USER = "root"
MYSQL_PASSWORD = "123456"
在pipelines.py中新建类:MysqlTwistedPipline 执行顺序:from_settings → init → pross_item
import MySQLdb import MySQLdb.cursors from twisted.enterprise import adbapi
class MySQLTwistedPipeline(object): def __init__(self, dbpool): self.dbpool = dbpool # 重载方法 @classmethod def from_settings(cls, settings): dbparms = dict( host=settings["MYSQL_HOST"], db=settings["MYSQL_DBNAME"], user=settings["MYSQL_USER"], passwd=settings["MYSQL_PASSWORD"], charset="utf8", cursorclass=MySQLdb.cursors.DictCursor, use_unicode=True, ) # 连接池 dbpool = adbapi.ConnectionPool("MySQLdb", **dbparms) return cls(dbpool) def process_item(self, item, spider): # 将某个方法扔到池里运行 query = self.dbpool.runInteraction(self.do_insert,item) # 报错的处理方法 query.addErrback(self.handle_error, item, spider) def handle_error(self, failure, item, spider): print(failure) def do_insert(self, cursor, item): """ 入库逻辑 """ insert_sql = """ insert into jobbole_article(title, url, url_object_id, front_image_url, front_image_path, parise_nums, comment_nums, fav_nums, tags, content, create_date) values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s) """ params = list() params.append(item.get("title", "")) params.append(item.get("url", "")) params.append(item.get("url_object_id", "")) # 将list[]转换成字符串 front_image = ",".join(item.get("front_image_url", [])) params.append(item.get(front_image)) params.append(item.get("front_image_path", "")) params.append(item.get("parise_nums", 0)) params.append(item.get("content_nums", 0)) params.append(item.get("fav_nums", 0)) params.append(item.get("tags", "")) params.append(item.get("content", "")) params.append(item.get("create_date", "1970-01-01")) cursor.execute(insert_sql, tuple(params))
在setting中配置ITEM_PIPELINES:
ITEM_PIPELINES = {
"ArticleSpider.pipelines.MysqlTwistedPipeline": 4,
}
运行后出错AttributeError: module 'MySQLdb' has no attribute 'cursors'
解决方法:修改from_setting方法
@classmethod def from_settings(cls, settings): from MySQLdb.cursors import DictCursor dbparms = dict( host=settings["MYSQL_HOST"], db=settings["MYSQL_DBNAME"], user=settings["MYSQL_USER"], passwd=settings["MYSQL_PASSWORD"], charset="utf8", cursorclass=DictCursor, use_unicode=True, ) # 连接池 dbpool = adbapi.ConnectionPool("MySQLdb", **dbparms) return cls(dbpool)
问题:数据插入时遇到主键冲突问题
解决方法:插入值的时候更新字段
values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s) ON DUPLICATE KEY UPDATE parise_nums = VALUES(parise_nums)
scrapy提供item loader机制提取信息
# 在parse_detail方法中配置
item_loader = ItemLoader(item=JobBoleArticleItem(), response=response) item_loader.add_css("title", "#news_title a::text") item_loader.add_css("create_date", "#news_info .time::text") item_loader.add_css("content", "#news_content") item_loader.add_css("tags", "news_tags a::text") item_loader.add_value("url", response.url) item_loader.add_value("front_image_url", response.meta.get('front_image_url', "")) # 加载item article_item = item_loader.load_item()
MapCompose,TakeFirst的使用