数据采集与融合技术作业一
数据采集与融合技术作业一
🔗1.相关信息及链接
| 名称 | 信息及链接 |
|---|---|
| 学号姓名 | 102202108 王露洁 |
| 本次作业要求链接 | https://edu.cnblogs.com/campus/fzu/2024DataCollectionandFusiontechnology/homework/13286 |
| 作业①所在码云链接 | https://gitee.com/wanglujieeee/crawl_project/tree/master/作业1.1 |
| 作业②所在码云链接 | https://gitee.com/wanglujieeee/crawl_project/tree/master/作业1.2 |
| 作业③所在码云链接 | https://gitee.com/wanglujieeee/crawl_project/tree/master/作业1.3 |
📚2.作业内容
作业①：
🔌要求：用requests和BeautifulSoup库方法定向爬取给定网址(http://www.shanghairanking.cn/rankings/bcur/2020)的数据，屏幕打印爬取的大学排名信息。
🔋输出信息：
| 排名 | 学校名称 | 省市 | 学校类型 | 总分 |
|---|---|---|---|---|
| 1 | 清华大学 | 北京 | 综合 | 852.5 |
| ... |
💡代码实现（详细注释版）
import requests # 导入requests库，用于发送HTTP请求
from bs4 import BeautifulSoup # 导入BeautifulSoup库，用于解析HTML文档
import pandas as pd # 导入pandas库，用于数据处理和生成DataFrame
# 目标URL，即我们要抓取的网页地址
url = "http://www.shanghairanking.cn/rankings/bcur/2020"
try:
# 发送HTTP GET请求到目标URL
resp = requests.get(url)
# 检查请求是否成功，如果失败则抛出HTTPError异常
resp.raise_for_status()
# 获取网页的HTML内容
html = resp.content
# 使用BeautifulSoup解析HTML文档，'lxml'是解析器
soup = BeautifulSoup(html, 'lxml')
# 查找网页中的排名表格，这里假设表格的<table>标签是唯一的，实际情况可能需要根据HTML结构修改选择器
ranking_table = soup.find('table')
# 如果找到了排名表格
if ranking_table:
# 查找表格中的所有行<tr>
rows = ranking_table.find_all('tr')
# 初始化一个空列表，用于存储每行的数据
list_of_rows = []
# 遍历每一行
for row in rows:
# 查找行中的所有单元格<td>（这里排除了<th>，因为表格头部通常不包含我们需要的数据）
cells = row.find_all(['td'])
# 初始化一个空列表，用于存储当前行的数据
row_data = []
# 遍历当前行的每个单元格
for i, cell in enumerate(cells, start=1):
# 如果当前单元格是第二列（即学校中文名称），则特殊处理
if i == 2:
# 在单元格中查找class为"name-cn"的元素，这通常是学校中文名称的容器
cell = cell.find(class_="name-cn")
# 如果找到了，则将其文本内容（去除前后空白）添加到行数据中
if cell:
row_data.append(cell.text.strip())
# 如果当前单元格是第六列（我们不需要的列，比如操作按钮等），则停止继续处理当前行的剩余单元格
elif i == 6:
break
# 对于其他单元格，直接将其文本内容（去除前后空白）添加到行数据中
else:
row_data.append(cell.text.strip())
# 如果当前行有数据（即非空行），则将其添加到列表中
if row_data:
list_of_rows.append(row_data)
# 使用pandas库将列表转换为DataFrame，并指定列名
df = pd.DataFrame(list_of_rows, columns=['排名', '学校名称', '省市', '学校类型', '总分'])
# 打印DataFrame
print(df)
else:
# 如果没有找到排名表格，则打印提示信息
print('未找到排名表格。')
except requests.exceptions.RequestException as e:
# 捕获requests库抛出的异常，并打印错误信息
print(f'无法打开网址：{url}，错误：{e}')
except Exception as e:
# 捕获其他所有异常，并打印错误信息
print(f'发生错误：{e}')
🌻运行结果截图
💌心得体会
在深入学习和实践这段代码后，我深刻感受到编程的魅力与挑战并存。代码不仅仅是实现功能的工具，更是一种严谨的逻辑思考和问题解决能力的体现。通过不断调试和优化，我学会了如何更有效地利用requests和BeautifulSoup库来抓取和解析网页数据，同时也掌握了使用pandas处理和分析数据的基本技巧。这个过程不仅锻炼了我的技术实力，更让我明白，编程需要细心、耐心和不断的学习。每一次成功抓取到数据，都让我对编程有了更深的理解和热爱。
作业②：
🔌要求：用requests和re库方法设计某个商城（自已选择）商品比价定向爬虫，爬取该商城，以关键词“书包”搜索页面的数据，爬取商品名称和价格。
🔋输出信息：
| 序号 | 价格 | 商品名称 |
|---|---|---|
| 1 | 65.00 | xxx |
| ... |
💡代码实现
# 导入必要的库
from bs4 import BeautifulSoup # 用于解析HTML文档
from bs4.dammit import UnicodeDammit # 用于处理字符编码问题
import requests # 用于发送HTTP请求
import pandas as pd # 用于数据处理和生成DataFrame
# 目标URL，即我们要抓取的当当网搜索页面地址（已进行URL编码）
url = "http://search.dangdang.com/?key=%CA%E9%B0%FC&act=input"
try:
# 设置HTTP请求头，模拟浏览器访问，避免被网站反爬虫机制识别为爬虫
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
# 发送HTTP GET请求到目标URL，并带上请求头
data = requests.get(url, headers=headers)
# 检查请求是否成功，如果失败则抛出HTTPError异常
data.raise_for_status()
# 获取网页的原始内容（字节码）
raw_content = data.content
# 使用UnicodeDammit处理字符编码问题，尝试使用utf-8和gbk编码，选择最合适的编码方式
dammit = UnicodeDammit(raw_content, ["utf-8", "gbk"])
# 获取处理后的Unicode字符串（即HTML文档）
html_content = dammit.unicode_markup
# 使用BeautifulSoup解析HTML文档，'lxml'是解析器
soup = BeautifulSoup(html_content, "lxml")
# 使用CSS选择器查找所有匹配的<li>元素，这些元素位于class为'bigimg'的<ul>下
# 注意：这里的选择器需要根据网页的实际结构进行调整
lis = soup.select("ul.bigimg li")
# 初始化一个空列表，用于存储每个商品的数据
products_data = []
# 遍历每个<li>元素（即每个商品）
for li in lis:
try:
# 初始化一个空列表，用于存储当前商品的数据
current_product_data = []
# 使用CSS选择器查找商品名称的<a>标签，并获取其title属性（商品名称）
# 注意：如果<a>标签不存在或没有title属性，将返回空字符串
name_tag = li.select_one("p.name a")
name = name_tag.get('title', '') if name_tag else ''
# 使用CSS选择器查找商品价格，并获取其文本内容（去除前后空白）
# 注意：如果价格标签不存在，将返回空字符串
price_tag = li.select_one("span.price_n")
price = price_tag.text.strip() if price_tag else ''
# 将商品名称和价格添加到当前商品的数据列表中
current_product_data.append(name)
current_product_data.append(price)
# 将当前商品的数据列表添加到总列表中
products_data.append(current_product_data)
except Exception as err:
# 如果在处理某个商品时发生异常，则打印错误信息，并继续处理下一个商品
print(f"Error processing item: {err}")
# 使用pandas库将总列表转换为DataFrame，并指定列名
df = pd.DataFrame(products_data, columns=['商品名称', '价格'])
# 调整DataFrame中列的顺序，将'价格'列放在前面，'商品名称'列放在后面
df = df[['价格', '商品名称']]
# 打印DataFrame，查看抓取到的商品数据
print(df)
except Exception as err:
# 如果在请求网页或处理数据时发生异常，则打印错误信息
print(f"An error occurred: {err}")
🌻运行结果截图（部分）
💌心得体会
在编写和调试上述代码的过程中，我深刻体会到了几个关键点。首先，数据的抓取和解析需要耐心和细致，因为网页的结构往往复杂多变，选择器必须精确无误。其次，编码问题在实际开发中是一个常见的陷阱，使用UnicodeDammit这样的工具能够大大简化这一过程。再者，异常处理对于确保程序的健壮性至关重要，它可以帮助我们捕捉并处理潜在的错误，避免程序崩溃。最后，Pandas库在处理表格数据时表现出色，其强大的功能使得数据整理和分析变得更加简单高效。这次经历不仅提升了我的编程技能，也让我对Web开发和数据处理有了更深入的理解。
作业③：
🔌要求：爬取一个给定网页（[https://news.fzu.edu.cn/yxfd.htm])）或者自选网页的所有JPEG和JPG格式文件，并将这些文件保存在一个指定的文件夹中。
🔋输出信息：将自选网页内的所有JPEG和JPG文件保存在一个文件夹中，文件夹中包含所有下载的图片文件。
💡代码实现
自选网页：https://search.dangdang.com/?key=Ӣ������&act=input&show=big&show_shop=0#J_tab
注意：查看过后发现该网页只有jps格式的图片，所以代码中体现的是只爬取了jps格式的图片
import requests # 导入requests库，用于发送HTTP请求
import re # 导入re库，用于正则表达式匹配
import os # 导入os库，用于文件和目录操作
# 定义当当网搜索页面的基础URL（已进行URL编码）
base_url = f"https://search.dangdang.com/?key=%D3%A2%D3%EF%C2%FE%BB%AD&act=input&show=big&show_shop=0#J_tab"
# 设置HTTP请求头，模拟浏览器访问，避免被网站反爬虫机制识别为爬虫
headers = {"User-Agent": "Mozilla/5.0(Windows;U;Windows NT 6.0 x64;en-US;rv:1.9pre)Gecko/2008072421 Minefield/3.0.2pre"}
# 检查是否存在名为"images"的目录，如果不存在则创建该目录
if not os.path.exists("images"):
os.makedirs("images")
def fetch_images(url):
"""
发送HTTP GET请求到指定URL，并返回响应的HTML内容。
如果请求失败，则打印错误信息并返回None。
"""
resp = requests.get(url, headers=headers)
if resp.status_code == 200:
return resp.text
else:
print(f"Failed to fetch page: {url}")
return None
def parse_images(html):
"""
使用正则表达式从HTML内容中提取图片URL。
匹配以'src='或'data-original='开头，并以'.jpg'结尾的URL。
返回提取到的图片URL列表。
"""
# 注意：这里的正则表达式可能需要根据网页的实际结构进行调整
image_tuples = re.findall(r'(src|data-original)=["\'](//.*?\.jpg)["\']', html) # 匹配以//开头的URL
image_urls = [img[1] for img in image_tuples]
return image_urls
def save_images(image_urls):
"""
遍历图片URL列表，下载图片并保存到本地"images"目录中。
图片文件名以"image_序号.jpg"的格式命名。
如果下载过程中发生异常，则打印错误信息。
"""
for idx, img_url in enumerate(image_urls):
# 如果URL以//开头，则补充为完整的http或https URL（这里默认使用http）
if img_url.startswith('//'):
img_url = 'http:' + img_url
try:
# 发送HTTP GET请求到图片URL，并设置stream=True以流式方式下载图片
img_response = requests.get(img_url, stream=True)
img_response.raise_for_status() # 确保请求成功
# 构造图片文件名
img_name = os.path.join("images", f"image_{idx + 1}.jpg")
# 以二进制写入方式打开文件，并将图片内容写入文件
with open(img_name, "wb") as img_file:
img_file.write(img_response.content)
print(f"Saved: {img_name}")
except Exception as e:
# 如果下载过程中发生异常，则打印错误信息
print(f"Could not save image {img_url}: {e}")
def main():
"""
主函数，用于执行整个图片抓取流程。
1. 从当当网搜索页面抓取HTML内容。
2. 解析HTML内容，提取图片URL。
3. 下载并保存前20张图片到本地。
"""
html_content = fetch_images(base_url)
if html_content:
image_urls = parse_images(html_content)
# 限制只爬取前20个图片（注意：原代码中写的是[:20]，但注释写的是前100个，这里以代码为准）
save_images(image_urls[:20])
if __name__ == "__main__":
# 当脚本被直接运行时，调用main函数
main()
🌻运行结果截图
💌心得体会
通过编写这段代码，我掌握了如何使用Python进行网页内容抓取、解析以及图片下载的基本流程。首先，我学习了如何利用requests库模拟HTTP请求，并设置合适的请求头以绕过一些简单的反爬虫机制。其次，我了解到re模块在文本处理中的强大功能，通过正则表达式可以高效地提取出所需的信息，如图片URL。此外，我还学会了使用os模块进行文件操作，如创建目录和保存文件。在下载图片时，我意识到需要处理各种可能的异常情况，如网络请求失败或文件写入错误，这促使我更加深入地理解了异常处理的重要性。最后，通过限制爬取的图片数量，我学会了如何在抓取数据时保持礼貌，避免对目标网站造成过大的负担。这次实践不仅增强了我的编程技能，也让我对Web数据抓取有了更深入的理解。
