【大数据】理解爬虫原理
1. 简单说明爬虫原理
简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；
2. 理解爬虫开发过程
1).简要说明浏览器工作原理；、
方式1：浏览器提交请求--->下载网页代码--->解析成页面
方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
爬虫要做的就是方式2；
1、发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
Request模块缺陷：不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等
3、解析内容
解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库（MySQL，Mongdb、Redis）
文件
2).使用 requests 库抓取网站数据；
requests.get(url) 获取校园新闻首页html代码
url="http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0322/11049.html" res=requests.get(url) type(res) res.encoding='utf-8' res.text
结果如图：
3).了解网页
写一个简单的html文件，包含多个标签，类，id
<html> <head> <meta charset="utf-8"> <body> <h1 id="title">标题</h1> <p class="time">发布时间：2018年</p> <a href="http://www.runoob.com">进去百度看一下把</a> <br> <label for="inputname" class="col-sm-2 control-label ">姓名</label> <input type="text" class="form-control" id="inputname"value="huang" > </body> </head> </html>
4).使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree
select（选择器）定位数据
找出含有特定标签的html元素
找出含有特定类名的html元素
找出含有特定id名的html元素
#得到标签<h1，a>的元素
t=soup.select('h1')
d=soup.select('a')
#得到指定类（time）元素
b=soup.select('.time')
#得到特定id的元素
c=soup.select('inputname')
print(t,b,c,d)
结果如图：
3.提取一篇校园新闻的标题、发布时间、发布单位
url = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'
#导入包 import requests
requests import bs4 from bs4 import BeautifulSoup bs4
#获取特定网站数据 url="http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'" res=requests.get(url) type(res) res.encoding="utf-8" soup1=BeautifulSoup(res.text,'html.parser') #得到新闻标题 soup1.select('title')
#得到新闻的发布时间和单位 soup1.select('.show-info')
#遍历
for news in soup1.select('li'):
if len(news.select('.news-list-title'))>0:
t=news.select('.news-list-title')[0].text
a=news.select('a')[0]['href']
d=news.select('.news-list-info')[0].text
print(t)
结果如图：
#获得新闻标题
#得到新闻的发布时间和单位
