第4章 scrapy爬取知名技术文章网站(1)
4-1 scrapy安装以及目录结构介绍
安装scrapy可以看我另外一篇博文：Scrapy的安装--------Windows、linux、mac等操作平台，现在是在虚拟环境中安装可能有不同。
1.创建有python3的虚拟环境
mkvirtualenv --python=C:\Users\admin\AppData\Local\Programs\Python\Python35\python3.exe py3scrapy
2.安装scrapy
进入环境py3scrapy，pip install -i https://pypi.douban.com/simple/ scrapy 豆瓣源安装非常快。
3.补充
进入虚拟环境： workon py3scrapy
创建项目： scrapy startproject ArticleSpider
建立spider： scrapy genspider jobbole blog.jobbple.com
4-2 pycharm 调试scrapy 执行流程
1.运行爬虫文件
建立一个main.py文件，在ArticleSpider文件目录下
from scrapy.cmdline import execute
import sys,os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','jobbole'])
os.path.abspath(__file__) --------main.py目录
dirname() --------main.py父目录
2.要学会用断点和DEBUG
在实战中操作
4-3~5 xpath的用法
1.xpath简介
- xpath使用路径表达式在xml和html中进行导航。
- xpath包含标准函数库。
- xpath是一个w3c的标准。
2.xpath节点关系
- 父节点
- 子节点
- 同胞节点
- 先辈节点
- 后代节点
3.xpath语法
4.补充
为什么有时候自己写的xpath明明对的，却获取不到数据？
原因：F12产生的源码，不同于网页源代码，前者可能是js加载完的源代码。response.xpath()是根据网页源代码来提取信息的。
.
问题：No modle named ‘win32api’
解决： pip install -i https://pypi.douban.com/simple/ pypiwin32
.
contains()用法
response.xpath("//span[contains(@class, 'bookmark-btn')]/text()").extract()[0]
表示在span标签中class属性中含有 bookmark-btn 即为符合
.
正文保留html标签，以便后续研究
.
scrapy shell url 调试xpath
如果在py3中就都显示中文了
.
re.math(reg,html).group() #正则匹配
.
tag_list=['职场','2 评论','今昔']
[element for element in tag_list if not element.strip().endswith('评论')]
#结果['职场', '今昔']
4-6~7 css选择器实现字段解析
作者：今孝
出处：http://www.cnblogs.com/jinxiao-pu/p/6713333.html
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。
