理解爬虫原理
改作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851
一、简单说明爬虫原理
如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用；
基本流程大致是：
发送请求-----》获取响应内容-----》解析内容-----》保存数据
二、理解爬虫开发过程
1、简要说明浏览器工作原理
浏览器工作原理的实质就是实现http协议的通讯，大致分为三个阶段：
连接，服务器通过一个ServerSocket类对象对某端口进行监听，监听都之后进行连接，打开一个socket虚拟文件。
请求，创建与监理socket连接相关的流对象后，浏览器获取请求，为get请求，则从请求信息中获取所访问的html文件名，向服务器发送请求。
响应，服务器收到请求后，搜索相关的目录文件，若不存在，返回错误的信息。若存在，则读取html文件，进行加http头等处理响应给浏览器，浏览器解析html文件，若其中还包含图片，视频等资源，则浏览器再次访问web服务器，获取图片视频等，并对其进行组装显示给用户。
2、使用 requests 库抓取网站数据
import requests
url='http://news.gzcc.cn/html/xiaoyuanxinwen'
res = requests.get(url)
res.encoding=('utf-8')
print(res.text)
结果如下图：
3、使用 requests 库抓取网站数据
了解网页并且写一个简单的html文件，包含多个标签，类，id：
<html> <head> <meta charset="utf-8"> <body> <h1 id="title">标题</h1> <p>点击一下</p> <button type="button" id="button">按钮</button> </body> </head> </html>
4、使用 Beautiful Soup 解析网页
通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree
select（选择器）定位数据
1.找出含有特定标签的html元素
soup=BeautifulSoup(res.text,'html.parser')
soup.select('li')
结果如图：
2.找出含有特定类名的html元素
soup=BeautifulSoup(res.text,'html.parser')
for i in soup.select('.news-list-title'):
print(i)
结果如图：
3.找出含有特定id名的html元素
soup=BeautifulSoup(res.text,'html.parser')
print(soup.select('#menu')[0].text)
结果如图：
5、提取一篇校园新闻的标题、发布时间、发布单位
import requests
from bs4 import BeautifulSoup
url='http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'
res = requests.get(url)
res.encoding=('utf-8')
soup=BeautifulSoup(res.text,'html.parser')
title=soup.select('.show-title')
time=soup.select('.show-info')
print(title,'\n',time)
结果如图：
