数据采集第一次作业(2022)
作业1：
题目：要求用urllib和re库方法定向爬取给定网址2020中国最好学科排名的数据。输出信息如下：
| 2020排名 | 全部层次 | 学校类型 | 总分 |
| 1 | 前2% | 中国人民大学 | 1069.0 |
| 2 | ... | ... | ... |
解题：
url="https://www.shanghairanking.cn/rankings/bcsr/2020/0812"
headers={"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre"}
req=urllib.request.Request(url,headers=headers)
data=urllib.request.urlopen(req)# 发送请求
soup=data.read().decode('utf-8')# 解析网页
1.2根据网页结点信息构造正则表达式
rank=[]
level=[]
school=[]
score=[]
for items in re.findall(r'<tr data-v-68e330ae>.*?</tr>', soup, re.S|re.M):
for a in re.findall(r'<div class="ranking".*?>(.*?)</div>',items,re.S|re.M):
rank.append(int(a)) #记录排名
for b in re.findall(r'<td data-v-68e330ae.*?>(.*?)</td>',items,re.S|re.M):
for k in re.findall(r'(.*?)<!---->',b,re.S):
level.append(k.strip()) #记录层次
for k in re.findall(r'\d+\.\d',b,re.S):
score.append(k.strip()) #记录总分
for c in re.findall(r'<a .*?name-cn.*?>(.*?)</a>', items, re.S|re.M):
school.append(c)# 记录学校
1.3输出代码
tplt = "{0:^10}\t{1:{4}<10}\t{2:<10}\t{3:<10}"
print(tplt.format("2020排名", "全部层次", "学校名称", "总分", chr(12288)))
for i in range(len(rank)):
print(tplt.format(rank[i],level[i],school[i],score[i],chr(12288)))
#中英文混排时采用chr(12288)
1.4输出结果
作业2：
要求：用requests和Beautiful Soup库方法设计爬取https://datacenter.mee.gov.cn/aqiweb2/ AQI实时报。
输出信息：
| 序号 | 城市 | AQI | PM2.5 | .. | .. | .. | .. |
| 1 | 北京 | ... | ... | ||||
解题
获取http
使用requests进行Get请求：
url = "https://datacenter.mee.gov.cn/aqiweb2/"
response = requests.get(url)
html = response.text
# 使用缓存，防止被ban
# with open('./.cache/aqiweb2.html', 'r', encoding='utf-8') as f:
# html = f.read()
同上，添加一个缓存。
构建soup,解析表格
这里需要先解析下图中选中部分的表格：
使用Beatiful Soup进行解析：
# 构建soup对象
soup = BeautifulSoup(html, "lxml")
# 解析表格
table = soup.find('div', attrs={"id": "demo"}).table.tbody
提取数据
查看该表格，发现该tbody内，tr均匀排列，且各个tr内的td内容即为需要的数据(即td.text)：
因此，只需要进行两层遍历，就能提取出所有信息：
i = 0
for tr in table.find_all('tr'):
print("{:^6}".format(i), end='\t')
for td in tr.find_all('td'):
print("{:^6}".format(strQ2B(clear_data(td.text))), end='\t')
print()
i += 1
2、运行结果
3、文件地址:https://gitee.com/mirrolied/spider_test/blob/master/lesson_2/session_2.py
作业3
要求：使用urllib和requests爬取（https://news.fzu.edu.cn/），并爬取该网站下的所有图片输出信息：将网页内的所有图片文件保存在一个文件夹中
解题
获取html
由于该题要求使用urllib.request和requests进行爬取，索性将两种方法结合缓存（即读取本地文件）整合成一个函数，由用户选择请求方法。
构建一个get_html函数，输入url以及请求方法，返回html文本：
def get_html(url: str, request_type: str) -> str:
"""
获取html
:param url: 访问地址
:param request_type: 请求方式： urllib.request 或 urllib.request 或相应缓存
:return: html
"""
if request_type == "urllib.request":
# urllib.request
return urllib.request.urlopen(url).read().decode("utf-8")
elif request_type == "requests":
# requests
response = requests.get(url)
return response.text
else:
# 读取缓存文件
with open(f'./.cache/{request_type}.html', 'r', encoding='utf-8') as f:
return f.read()
解析图片
使用正则匹配的方式，将所有的<img>标签内的src提取出来：
imgList = re.findall(r'<img.*?src="(.*?)"', html, re.S)
图片保存
文件内容即请求图片url返回内容，使用with open创建文件管理对象，并将模式设置为wb(二进制写入模式)：
resp = requests.get(img_url)
with open(f'./download/{img.split("/")[-1]}', 'wb') as f:
f.write(resp.content)
使用字符串分割从url中提取出文件的名称（保证后缀名无误）：
img.split("/")[-1]
或以"."进行分割，仅提取后缀名，自己对文件进行标号命名。
最后使用f.write(resp.content)即可实现保存。
def get_imgs(html:str, download=True) -> None:
"""
获取所有图片地址，可选择下载
:param html: 输入html
:param download: 是否下载
:return: None
"""
imgList = re.findall(r'<img.*?src="(.*?)"', html, re.S)
print(imgList)
print(f'共有{len(imgList)}张图片')
if download:
for i, img in enumerate(imgList):
img_url = "http://news.fzu.edu.cn" + img
print(f"正在保存第{i + 1}张图片 路径:{img_url}")
resp = requests.get(img_url)
with open(f'./download/{img.split("/")[-1]}', 'wb') as f:
f.write(resp.content)
复制代码
运行结果
本次作业gitee地址：https://gitee.com/mirrolied/spider_test/tree/master/lesson_1
