理解爬虫原理
作业要求源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881
1. 简单说明爬虫原理
请求网站并提取数据的自动化程序。
2. 理解爬虫开发过程
1：向服务器发起请求
通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器的响应。
2：获取响应内容
如果服务器正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、JSON、二进制文件（如图片、视频等类型）。
3：解析内容
得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是JSON，可以直接转成JOSN对象进行解析，可能是二进制数据，可以保存或者进一步处理
4：保存内容
保存形式多样，可以保存成文本，也可以保存至数据库，或者保存成特定格式的文件。
如果服务器正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、JSON、二进制文件（如图片、视频等类型）。
3：解析内容
得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是JSON，可以直接转成JOSN对象进行解析，可能是二进制数据，可以保存或者进一步处理
4：保存内容
保存形式多样，可以保存成文本，也可以保存至数据库，或者保存成特定格式的文件。
import requests import bs4 from bs4 import BeautifulSoup url = "http://news.gzcc.cn/html/2019/jxky_0329/11094.html" res = requests.get(url) res.encoding = 'utf-8' soupn = BeautifulSoup(res.text,'html.parser') print(soupn)
3.了解网页
写一个简单的html文件，包含多个标签，类，id
<html> <body> <h1 id="title">hi</h1> <a href="#" class="link">hi，this is link1</a> <a href="# link2" class="link" qao=957> hi,this is link2</a> </body> </html>
4.
使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree
5.提取一篇校园新闻的标题、发布时间、发布单位、作者、点击次数、内容等信息
代码：
import requests import bs4 from bs4 import BeautifulSoup url = "http://news.gzcc.cn/html/2019/jxky_0328/11087.html" res = requests.get(url) res.encoding = 'utf-8' soupn = BeautifulSoup(res.text,'html.parser') print("内容："+soupn.select('.show-content')[0].text) print(soupn.title) #print(soupn.select(".show-info")[0].text.split(':')[1]) info = soupn.select(".show-info")[0].text.split() #print(info) xinDate = info[0].split(':')[1] print(xinDate) xinTime = info[1] print(xinTime) newdt = xinDate + ' '+ xinTime print(newdt) from datetime import datetime now = datetime.now() #now = now.strptime('%Y{y}%m{m}%d{d} %H{h}%M{f}%S{s}').__format__(y='年',m='月',d='日',h='时',f='分',s='秒') now = now.strftime('%Y{y}%m{m}%d{d} %H{h}%M{f}%S{s}').format(y='年',m='月',d='日',h='时',f='分',s='秒')
