初识Python和使用Python爬虫

 一.python基础知识了解：
 
1.特点：
Python的语言特性：
Python是一门具有强类型(即变量类型是强制要求的)、动态性、隐式类型(不需要做变量声明)、大小写敏感(var和VAR代表了不同的变量)以及面向对象(一切皆为对象)等特点的编程语言。
优点：
　　容易上手，代码简洁，代码量小，编写快速，三方库成熟
缺点：
　　第一个缺点就是运行速度慢，和C程序相比非常慢，因为Python是解释型语言，你的代码在执行时会一行一行地翻译成CPU能理解的机器码，这个翻译过程非常耗时，所以很慢。而C程序是运行前直接编译成CPU能执行的机器码，所以非常快。
　　第二个缺点就是代码不能加密。如果要发布你的Python程序，实际上就是发布源代码，这一点跟C语言不同，C语言不用发布源代码，只需要把编译后的机器码（也就是你在Windows上常见的xxx.exe文件）发布出去。要从机器码反推出C代码是不可能的，所以，凡是编译型的语言，都没有这个问题，而解释型的语言，则必须把源码发布出去。
 
2.python能做什么：
  • 网络应用：包括网站、后台服务等等，构建网络应用一般使用Django 或者 Flask这俩相对流行的框架。
  • 数据科学：包括机器学习(scikit-learn和TensorFlow)、数据分析和数据可视化(Matplotlib)
  • 脚本、爬虫
3.python的版本问题：
目前，Python有两个版本，一个是2.x版，一个是3.x版，这两个版本是不兼容的（语法发生改变）。由于3.x版越来越普及，所以直接使用3.x版本
 
4.hello world：
print("hello world")
 
5.一段简单的代码：
# 这是一行注释 a = 100 if a >= 0: print(a) else: print(-a)
python中使用#来表示注释
当语句以冒号:结尾时，缩进的语句视为代码块。
缩进有利有弊。好处是强迫你写出格式化的代码，但没有规定缩进是几个空格还是Tab。按照约定俗成的管理，应该始终坚持使用4个空格的缩进。
缩进的另一个好处是强迫你写出缩进较少的代码，你会倾向于把一段很长的代码拆分成若干函数，从而得到缩进较少的代码。
 
二.python爬虫：
 
1.什么是爬虫(spider)：
爬虫(spider)的本质是一个向网站或URL发送请求, 获取资源后分析并提取有用数据的应用程序。它可以用来获取文本数据，也可以用来下载图片或音乐，还可以用来抢票。各大IT公司如阿里, 百度, 新浪和今日头条都大规模的应用了爬虫技术。比如阿里云网站上的IT技术类文章都是从CSDN, CNBlogs和微信公众号等原创平台上爬来的。新浪上的政府新闻很多也是直接从各大部委网站直接爬过来的。
 
2.为什么用python来写爬虫：
1）PHP语言  虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好，并发处理能力很弱。爬虫是工具性程序，对速度和效率要求比较高。
2）Java 语言 Java 的网络爬虫生态圈也很完善，是Python爬虫最大的对手。但是Java语言本身很笨重，代码量很大。  重构成本比较高，任何修改都会导致代码的大量变动。爬虫经常需要修改部分采集代码。
3）C/C++语言 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢，是很慢。  能用C/C++做爬虫，只能说是能力的表现，但是不是正确的选择。
4）Python 语言 语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富。 还有强大的爬虫Scrapy框架，以及成熟高效的 scrapy-redis分布式策略。而且，调用其他语言的接口也非常方便（胶水语言）
关于scrapy-redis 引用这里：https://www.cnblogs.com/pythoner6833/p/9148937.html
总结：各个语言都有办法能写爬虫程序，只是python更加适合，而且有成熟的框架，写起来比较简单易上手
 
3.爬虫的工作流程：
  • 请求发送: 确定需要爬取数据的目标url以及发送请求(request)时所需要携带的数据和各种HTTP头部信息 (如user-agent, proxy IP, cookie)。发送请求时我们最常用的有python 3自带的urllib库和需要安装的第三方包requests库。
  • 数据解析: 对返回的数据(response)进行解析，提取我们所需要的信息。常用的数据解析的库有python自带的html.parser, beautifulsoup（第三方库）、lxml（第三方库)。
  • 数据存储: 对第2步提取的数据我们有时候需要对其进行清洗，有时会直接存入数据库，写入文件或缓存。
4.一个最简单的爬虫：
# 使用RequestsCookieJar来构建cookie
cookie_jar = RequestsCookieJar()
for k, v in d.items():
cookie_jar.set(k, v)
# 创建headers
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; Trident/7.0; rv:11.0) like Gecko'
header = {
     "User-Agent": user_agent
}

1.使用requests创建请求
req = requests.get(url, headers=header, cookies=cookie_jar)
2.使用beautifulsoup来解析请求到的数据
if req.status_code == 200:
     soup = bs(str(req.content, 'GBK'), 'html.parser')
3.soup中保存了方便解析的请求到的数据
result = soup.find_all('div', class_='paper-bt')[0].get_text()
4.对抓取到的数据保存或者输出
print(result)

 

5.使用scrapy构建爬虫
1） Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
2） 安装 scrapy框架
 
3） 构建scrapy框架项目
 
4） 初始化一个spider 叫做movie 针对主机名是“douban.com”
 
这时一个基本的Python爬虫框架就完成了，这里会根据模板生成一套代码
 
 
scrapy.cfg：配置文件
spiders：存放你Spider文件，也就是你爬取的py文件
items.py：相当于一个容器，和字典较像
middlewares.py：定义Downloader Middlewares(下载器中间件)和Spider Middlewares(蜘蛛中间件)的实现
pipelines.py:定义Item Pipeline的实现，实现数据的清洗，储存，验证。
settings.py：全局配置
此时scrapy基本功能构建完成，需要进行目标功能构建
 
5）创建一个spider文件：
这里以动漫观看排行榜的数据为例子
#爬虫类
 
#数据item
 
#pipeline后处理类
 
 
5）执行写好的爬虫，得到数据
scrapy crawl agefans --nolog
 
6）结果：
 
 
6.解析库
1）lxml的使用
使用pip3 install lxml安装库
XPath的常用规则:
  • / 表示选取直接子节点
  • // 表示选取所有子孙节点
  • . 选取当前节点
  • .. 选取当前结点的父节点
  • @ 选取属性
 
还是拿上面的解析方法来举例：
response.xpath('//li[@class="rank_text"]')
代表选取所有li标签class属性为“rank_text”的子孙节点
 
 
直接就筛选到了如下数据的集合
 
接着从集合中遍历每个节点下的数据
 
 
2）BeautifulSoup的使用
使用 pip3 install BeautifulSoup安装
 
 
soup = BeautifulSoup(str(req.content, 'utf-8'), 'lxml') 这里是使用了lxml的解析器来解析，python自带的解析器为'html.parser'
 
 
2.2获取属性值
比如，我们想要获取img的src属性，我们只需要，soup.img['src']就可以获取到，soup.img.arrts['src']也可以获取到。
如果想获取到所有的属性就这样写：soup.img.arrts即可
 
2.3获取直接子节点和子孙节点，父节点，祖先节点，兄弟节点
  • 获取直接子节点：contents，例如我想获取p标签的直接子节点：soup.p.contents即可
  • 获取子孙节点：descendants,例如我想获取p标签的子孙节点：soup.p.descendants即可
  • 获取父节点：parent属性，例如我想获取p标签的父节点：soup.p.parent即可
  • 获取祖先节点：parents属性，例如我想获取p标签的祖先节点：soup.p.parents即可
  • 获取兄弟节点：next_sibling,previous_sibling,next_siblings,previous_siblings分别为下一个兄弟节点，上一个兄弟节点，上面所有的兄弟节点，下面所有的兄弟节点。
 
2.4获取文本属性
string为获取文本
attrs为获取属性
 
2.5方法选择器
find_all()返回的一个列表，匹配所有符合要求的元素
  • 如果我们想要获取ul可以这样写：soup.find_all(name='ul')
  • 如果我们想要获取id为id1属性可以这样写：soup.find_all(arrts[id='id1'])
  • 如果我们想要获取class为class1属性可以这样写：soup.find_all(arrts[class_='class1'])因为class有特殊意义，所以我们获取class的时候价格_即可
  • 如果我们想要获取文本值可以这样写：soup.find_all(text=re.compile(''))匹配text需要用到正则，匹配你想要的text值
  • find()只返回一个值，匹配到符合要求的第一个值。用法和上面的方法一样
 
解析结果：
 
 by 张轶
 
 
posted @ 2019-12-30 09:27  WidgetBox  阅读(598)  评论(0)  编辑  收藏  举报