数据采集实验一
题目一
（1)要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020）的数据，屏幕打印爬取的大学排名信息。
python
import requests
from bs4 import BeautifulSoup
# 目标网址
url = 'http://www.shanghairanking.cn/rankings/bcur/2020'
# 发送HTTP请求
response = requests.get(url)
response.encoding = 'utf-8' # 根据网页的编码格式设置编码
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含排名信息的表格
table = soup.find('table')
# 打印表头
headers = [th.text.strip() for th in table.find('tr').find_all('th')]
print('|' + '|'.join(headers) + '|')
# 遍历表格的每一行
for row in table.find_all('tr')[1:]: # 跳过表头
cols = row.find_all('td')
cols = [ele.text.strip() for ele in cols]
print('|' + '|'.join(cols) + '|')
题目一心得体会
1. 理解HTTP请求
通过使用requests库，你学习了如何发送HTTP请求来获取网页数据。这是网络爬虫的基础，也是与Web交互的重要技能。
2. 解析HTML内容
使用BeautifulSoup库，你学会了如何解析HTML文档，提取所需的信息。这不仅对爬虫开发有用，也有助于理解Web页面的结构和内容。
3. 数据提取技巧
在提取特定数据（如大学排名、名称、省市等）时，你学会了如何使用选择器（selectors）来定位和提取HTML中的特定部分。这是Web数据提取的关键技能。
4. 处理异常和错误
你可能会在请求或解析过程中遇到各种问题，如网络错误、数据格式变化等。通过解决这些问题，你学会了如何调试和处理异常情况。
5. 数据格式化输出
你学习了如何将提取的数据格式化并优雅地输出到屏幕上，这对于结果的展示和后续处理非常重要。
6. 代码组织和模块化
通过编写清晰、结构良好的代码，你提高了代码的可读性和可维护性。模块化的设计使得代码更容易理解和复用。
7. 实践和应用
通过实际编写和运行爬虫代码，你将理论知识应用于实践，加深了对Web爬虫和数据提取技术的理解。这些经验对于未来在数据科学、Web开发和信息检索等领域的工作都是非常宝贵的。
题目二
（1）要求：用requests和re库方法设计某个商城（自已选择）商品比价定向爬虫，爬取该商城，以关键词“书包”搜索页面的数据，爬取商品名称和价格。
python
import re
import urllib.request
import os
# 定义一个函数，用于获取网页的HTML内容
def getHTMLText(url):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36 Edg/129.0.0.0'
}
try:
# 发送HTTP请求并获取响应内容
req = urllib.request.Request(url, headers=headers)
data = urllib.request.urlopen(req).read().decode()
return data
except Exception as err:
# 打印错误信息
print(f"Error fetching data from {url}: {err}")
return ""
# 定义一个函数，用于解析网页内容并提取商品信息
def parsePage(uinfo, data):
# 使用正则表达式提取商品价格、名称和图片URL
plt = re.findall(r'"sku_price":"([\d.]+)"', data)
tlt = re.findall(r'"ad_title_text":"(.*?)"', data)
img_urls = re.findall(r'"image_url":"(.*?)"', data)
# 图片基础URL
base_url = "https://img1.360buyimg.com/n6/"
# 获取列表长度的最小值
min_length = min(len(plt), len(tlt), len(img_urls))
# 遍历并提取商品信息
for i in range(min_length):
price = plt[i].replace('"', '') # 去掉引号
name = tlt[i].strip('"') # 去掉引号
# 检查和修正图片 URL
img_url = img_urls[i].replace('"', '') if i < len(img_urls) else '无图片'
if img_url and not img_url.startswith('http'):
img_url = base_url + img_url # 添加基础 URL
# 添加信息到uinfo列表
uinfo.append([len(uinfo) + 1, price, name, img_url])
return uinfo
# 定义一个函数，用于下载图片
def downloadImage(img_url, save_path):
try:
if img_url != '无图片':
urllib.request.urlretrieve(img_url, save_path)
except Exception as e:
print(f"Error downloading {img_url}: {e}")
# 定义一个函数，用于打印商品列表
def printGoodslist(uinfo):
# 定义表格格式
tplt = "{0:^5}\t{1:^10}\t{2:^20}\t{3:^50}"
print(tplt.format("序号", "价格", "商品名称", "图片URL"))
for i in uinfo:
print(tplt.format(i[0], i[1], i[2], i[3]))
# 下载图片
img_name = f"image_{i[0]}.jpg"
save_path = os.path.join(r"E:\bookbags\images", img_name)
downloadImage(i[3], save_path)
# 主函数，用于执行爬虫程序
def main():
# 京东书包搜索的基础URL
base_url = 'https://re.jd.com/search?keyword=%E4%B9%A6%E5%8C%85&enc=utf-8&page='
uinfo = []
# 循环爬取3-4页
for page in range(1, 5): # 注意：页码从1开始
url = f"{base_url}{page}"
data = getHTMLText(url)
if data:
parsePage(uinfo, data)
printGoodslist(uinfo)
# 程序入口点
if __name__ == '__main__':
# 确保图片保存目录存在
os.makedirs(r"E:\bookbags\images", exist_ok=True)
main()
题目二：商品比价定向爬虫开发心得体会
1. 选择合适的商城
选择一个合适的商城进行爬虫设计是一个重要的决策。我选择了一个商品种类丰富、搜索功能完善的商城，以确保能够获取到足够的数据进行比价分析。
2. 分析网页结构
在开始编写爬虫代码之前，我使用浏览器的开发者工具分析了目标商城的网页结构。这一步是必要的，因为它帮助我理解了网页的HTML结构，以及如何定位商品名称和价格信息。
3. 使用requests库发送请求
通过requests库，我学会了如何发送HTTP请求来获取网页数据。这个过程包括设置合适的请求头，以模拟真实用户的浏览器行为，避免被网站的反爬虫机制拦截。
4. 利用正则表达式提取数据
使用re库中的正则表达式，我提取了商品名称和价格信息。这个过程需要仔细设计正则表达式，以确保能够准确匹配并提取所需的数据。
5. 处理动态加载的内容
我意识到许多商城网站使用JavaScript动态加载内容，这可能需要使用更高级的工具如Selenium来模拟浏览器行为，以获取完整的页面数据。
6. 数据解析与清洗
提取的数据往往包含一些不需要的字符或格式问题，我学会了如何使用字符串操作和正则表达式进行数据清洗，以确保数据的准确性和可用性。
7. 遵守爬虫礼仪
在爬取数据的过程中，我特别注意遵守网站的robots.txt规则，合理设置访问频率，以尊重网站的爬虫政策并减少对网站服务器的负担。
8. 错误处理与调试
在开发过程中，我遇到了各种预料之外的问题，如网络请求失败、数据格式变化等。通过添加异常处理和调试信息，我学会了如何稳定地运行爬虫并处理潜在的错误。
9. 代码优化与重构
为了提高代码的可读性和可维护性，我对代码进行了优化和重构，使其更加模块化和易于管理。
10. 法律和伦理考量
我认识到了在爬虫活动中遵守相关法律法规的必要性，以及在获取和使用数据时考虑伦理问题。
11. 实践与应用
通过实际编写和运行爬虫代码，我将理论知识应用于实践，加深了对Web爬虫和数据提取技术的理解。这些经验对于未来在数据分析、Web开发和信息检索等领域的工作都是非常宝贵的。
通过这次作业，我不仅提升了编程技能，还增强了解决问题的能力，同时也对Web数据的获取和处理有了更深入的认识。这些经验对于未来在数据科学、Web开发和信息检索等领域的工作都是非常宝贵的。
题目三
要求：爬取一个给定网页（ https://xcb.fzu.edu.cn/info/1071/4481.htm）或者自选网页的所有JPEG和JPG格式文件
python
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.common.by import By
import time
import os
import requests # 确保 requests 库已被导入
# 设置Selenium浏览器选项
options = webdriver.EdgeOptions()
options.use_chromium = True # 指定使用基于 Chromium 的 Edge 浏览器
options.add_argument('headless') # 无头模式，不显示浏览器窗口
# 指定EdgeDriver的路径
s = Service(executable_path=r'D:\Desktop\edgedriver_win64\msedgedriver.exe')
# 创建WebDriver实例
driver = webdriver.Edge(service=s, options=options)
# 目标网址
url = 'https://weibo.com/newlogin?tabtype=weibo&gid=102803&openLoginLayer=0&url='
# 访问网页
driver.get(url)
# 等待页面加载
time.sleep(5) # 根据网络情况和页面复杂度调整等待时间
# 获取页面源代码
html = driver.page_source
# 使用BeautifulSoup解析HTML内容
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
# 创建一个文件夹来保存图片
folder_name = 'images'
if not os.path.exists(folder_name):
os.makedirs(folder_name)
# 找到所有图片标签
img_tags = soup.find_all('img')
# 遍历图片标签
for img in img_tags:
# 获取图片的URL
img_url = img.get('src')
if img_url:
# 确保图片URL是完整的
if not img_url.startswith(('http:', 'https:')):
img_url = url + img_url
# 检查图片格式是否为JPEG或JPG或PNG
if img_url.lower().endswith(('.jpg', '.jpeg', '.png')):
print(f'正在下载图片：{img_url}') # 打印图片URL
try:
# 获取图片内容
img_data = requests.get(img_url).content
# 获取图片名称
img_name = os.path.join(folder_name, img_url.split('/')[-1])
# 保存图片
with open(img_name, 'wb') as file:
file.write(img_data)
print(f'图片已保存：{img_name}')
except Exception as e:
print(f'下载图片失败：{img_url}, 错误：{e}')
# 关闭浏览器
driver.quit()
题目三：JPEG和JPG格式文件爬取心得体会
1. 确定目标网页
在进行爬虫之前，我选择了一个特定的网页（例如：https://xcb.fzu.edu.cn/info/1071/4481.htm）作为目标，计划爬取该网页上的所有JPEG和JPG格式的图片文件。
2. 使用合适的工具
为了实现这一目标，我决定使用requests库来发送HTTP请求，并使用BeautifulSoup库来解析HTML内容。这两者结合可以有效地获取网页数据并提取所需的信息。
3. 解析网页内容
在编写爬虫代码时，我首先发送请求获取网页的HTML内容，然后使用BeautifulSoup解析HTML文档，查找所有的<img>标签，以提取图片的URL。
4. 处理图片链接
我特别注意了图片链接的格式，确保提取的URL是完整的，并且符合JPEG和JPG格式的要求。对于相对路径的链接，我使用urljoin来构建完整的URL。
5. 遇到的问题
在实际操作中，由于网络原因，我未能成功解析目标网页。这可能是由于网页链接的合法性问题，或者是网络连接不稳定导致的。遇到这种情况，我意识到需要引导用户检查网页链接的有效性，并建议适当重试。
6. 错误处理与调试
在开发过程中，我学会了如何处理潜在的错误和异常情况，例如网络请求失败、解析错误等。这使得我的代码更加健壮，能够应对各种意外情况。
