2203840423邓佳湧python期末作业

【python爬虫课程设计】博物馆数据爬取+可视化

选题背景介绍

博物馆网络爬虫的选题背景源于对文化遗产数字化管理的需求。随着互联网的普及，越来越多的博物馆将其藏品信息、展览信息等发布在官网上，这些信息对于研究者、策展人、教育者等都具有很高的价值。为了更高效地收集、整理这些信息，同时避免手工整理的繁琐与错误，博物馆网络爬虫应运而生。它能够自动抓取博物馆网站上的信息，并按照一定的格式整理成数据，为博物馆的数字化建设提供有力支持。因此，博物馆网络爬虫的选题背景与文化遗产数字化管理的趋势紧密相关，是信息技术与文化遗产保护相结合的产物。

选题意义

数据整合与共享：通过博物馆网络爬虫，可以将分散在各个博物馆网站上的信息进行整合，形成一个庞大的数据库，方便研究者、策展人、教育者等用户进行数据查询、分析和利用。这有助于促进文化遗产的共享与传播，提高文化资源的利用效率。

学术研究支持：博物馆网络爬虫能够抓取博物馆网站上的文物信息、展览信息等，为学术研究提供丰富的数据支持。通过分析这些数据，可以深入挖掘文化遗产的历史价值、艺术价值、科学价值等，推动学术研究的深入发展。

数字化管理助力：博物馆网络爬虫的应用有助于推动博物馆的数字化管理进程。通过自动化的数据采集和整理，可以减轻博物馆工作人员的工作负担，提高工作效率。同时，数字化管理有助于保护文化遗产，减少文物损坏和遗失的风险。

促进跨学科合作：博物馆网络爬虫的研发和应用涉及多个学科领域，如计算机科学、历史学、艺术学等。这种跨学科的合作有助于推动不同领域之间的交流与融合，促进学科创新与发展。

HTML页面解析

QQ图片20231226181832

爬虫流程介绍

目标网站

https://www.kfsbwg.com/#/collectionSelection

目标信息

博物馆藏品数据

工具库

requests库，json库，BeautifulSoup库，pandas库，matplotlib库

通过模拟浏览器发送请求，并解析返回的数据。代码分为以下几个步骤：

  1. 设置伪装的请求头信息，包括 User-Agent（浏览器名称）、Referer（来源页面地址）和 Cookie。

2. 使用伪装的请求头发送 GET 请求，获取网页内容并解析。

# 发送 GET 请求，使用伪装的请求头信息

res = requests.get('https://www.kfsbwg.com/#/collectionSelection', headers=fake_headers) # 添加headers参数

# 使用 XPath 解析返回的网页内容

xpath_data = etree.HTML(res.text)

3. 提取网页中的类别信息。

categories_div = xpath_data.xpath('//div[contains(@class,"tab")]')

# 使用 XPath 根据特定规则提取包含类别信息的 `<div>` 元素。

4. 遍历多个页面，获取每个页面的数据，并将数据存储到 DataFrame 中。

(1) 该代码片段遍历了页码 1 到 13, 爬取藏品的基本信息。创建一个空的 DataFrame，用于存储数据。

  1. 该代码片段对进入二级页面，爬取每一个藏品的类别信息

  1. 保存数据到本地文件。

爬虫程序设计

Part1: 爬取博物馆里的数据并保存为“collect_data”文件

111

222444

Part2: 各个年代的藏品数量的折线图

Part3: 各个年代的藏品数量的折线图

Part4:文物级别的数量 绘制条形图

Part5: 一级文物中 按类别 画环形图

Part6: 对藏品介绍绘制词云图

爬虫程序设计全部代码如下：

  1. import requests # 用来爬虫
  2. import json
  3. import matplotlib.pyplot as plt
  4. from lxml import etree
  5. import re
  6. import pandas as pd
  7. import jieba #分词库
  8. from wordcloud import WordCloud #词云库
  9. # 读取停用词列表
  10. def get_stopword_list(file):
  11. with open(file, 'r', encoding='utf-8') as f: # 打开停用词列表文件，使用utf-8编码
  12. stopword_list = [word.strip('\n') for word in f.readlines()] # 逐行读取文件内容，去除换行符并添加到停用词列表中
  13. return stopword_list
  14. def crawling():
  15. # 设置伪装的请求头信息，包括 User-Agent（浏览器名称）、Referer（来源页面地址）和 Cookie。伪装成浏览器
  16. cookie = 'gr_user_id=d60a8db5-dbfc-44f3-a589-6917209bca37; douban-fav-remind=1; ' \
  17. '_vwo_uuid_v2=D5FD64F0F6B348BAC2D886383CA278542|628badf33068a364065510f6d407970d; ' \
  18. 'bid=mAIlAppZr5U; ll="118284"; __utmz=30149280.1685770417.9.3.utmcsr=cn.bing.com|utmccn=(referral)|utmcmd=referral|utmcct=/; ' \
  19. '__utma=30149280.678090237.1611223142.1685770417.1685867065.10; __utma=223695111.1624638446.1617981352.1658030776.1685867065.3; ' \
  20. '__utmz=223695111.1685867065.3.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __yadk_uid=NnfgVqOPYabVP9s7AkUc0PpTGwjICPYJ; ' \
  21. '_pk_id.100001.4cf6=90c321bacf3d595a.1685867070.; ' \
  22. '__gads=ID=8d4773a0f5c6d0bb-2268ff2418dd009b:T=1680945664:RT=1685867186:S=ALNI_MYgy1qlxmUrwLO53cc5XfkdoSLdcw; ' \
  23. '__gpi=UID=0000069a7ea9078e:T=1655104213:RT=1685867186:S=ALNI_MakTxIc3yRNFn3nppio26xG6RXfEA; ' \
  24. '_pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1686124106%2C%22https%3A%2F%2Fcn.bing.com%2F%22%5D; ' \
  25. '_pk_ses.100001.4cf6=1; ap_v=0,6.0'
  26. fake_headers = {
  27. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36', #浏览器名称
  28. 'Referer': 'https://www.kfsbwg.com/#/home', #来源页面的地址
  29. 'Cookie': cookie #cookie
  30. }
  31. # 发送 GET 请求，使用伪装的请求头信息
  32. res = requests.get('https://www.kfsbwg.com/#/collectionSelection', headers=fake_headers) # 添加headers参数
  33. # 使用 XPath 解析返回的网页内容
  34. xpath_data = etree.HTML(res.text)
  35. #代理ip全局参数
  36. ip = "" # 请求时使用的ip值
  37. # 代理ip列表，来自免费代理ip网站
  38. # 通过代理ip爬虫防止被封禁
  39. # 去除停用词
  40. stopwords = STOPWORDS
  41. # stopwords.add('')
  42. #代理ip全局参数
  43. ip = "" # 请求时使用的ip值
  44. # 代理ip列表，来自免费代理ip网站
  45. # 通过代理ip爬虫防止被封禁
  46. agency_ip = [
  47. 'http://49.86.58.36:9999',
  48. 'http://182.84.144.91:3256',
  49. 'http://171.35.213.44:9999',
  50. 'http://114.67.108.243:8081',
  51. 'http://211.24.95.49:47615',
  52. 'http://192.168.110.254:8088'
  53. ]
  54. proxies = {'http': 'http://192.168.110.254:8088'}
  56. # 提取类别： 使用 XPath 根据特定规则提取包含类别信息的 `<div>` 元素。
  57. categories_div = xpath_data.xpath('//div[contains(@class,"tab")]')
  58. pages = range(1,14) #遍历页码范围，该代码片段遍历了页码 1 到 13。
  59. data = pd.DataFrame(columns=['藏品名称' ,'年代' ,'类别','文物级别' ,'尺寸描述' ,'长' ,'宽' ,'高' ,'介绍' ]) # 创建一个空的 DataFrame，用于存储数据
  60. for page in pages: #循环遍历每一页。
  61. # 循环每一页。一页12个。url是找到的数据接口api。 该网站数据是从接口动态获取的，不能靠爬取网页获得信息。
  62. url = "https://www.kfsbwg.com/api/exhibit/list?p=w&qu_id=0&is_home=2&page="+str(page)+"&limit=12" # 构建请求 URL，该 URL 包含页码等参数
  63. # 请求数据：# 构建请求 URL，并发送 GET 请求
  64. response = requests.get(url, headers=fake_headers) # 发送 GET 请求，使用伪装的请求头信息
  65. content = response.content # 将获取到的二进制数据转换为 UTF-8 字符串。
  66. text = content.decode('utf-8')
  67. # 将获取的数据解析成json对象，解析返回的 JSON 数据，并遍历每个数据项
  68. json_object = json.loads(text)
  69. #解析返回的 JSON 数据，将其转换为 Python 对象。
  70. collect_list = json_object["data"]["list"] #从 JSON 对象中获取数据列表。
  71. # 当前页藏品数据数量
  72. len_ = len(collect_list)
  73. print("数据长度："+str(len_))
  74. # 遍历每个数据项，并提取所需的字段信息
  75. for collect in collect_list:
  76. exhibit_id = collect['exhibit_id'] # id
  77. print("爬取：exhibit_id:" + str(exhibit_id))
  78. name = collect['exhibit_name'] # 藏品名称
  79. print("爬取：exhibit_name:" + str(name))
  80. year = collect['year'] # 年份
  81. print("爬取：year:" + str(year))
  82. leve = collect['leve'] # 等级
  83. print("爬取：leve:" + str(leve))
  84. size_desc = collect['size_desc'] # 尺寸
  85. print("爬取：size_desc:" + str(size_desc))
  86. length = collect['length'] # 长
  87. print("爬取：length:" + str(length))
  88. width = collect['width'] # 宽
  89. print("爬取：width:" + str(width))
  90. height = collect['height'] # 高
  91. print("爬取：height:" + str(height))
  92. intro = collect['intro'] # 介绍
  93. print("爬取：intro:" + str(intro))
  94. # 前往二级接口（文物详情）爬取类别信息，并解析返回的数据
  95. sub_url = "https://www.kfsbwg.com/api/exhibit/detail?p=w&exhibit_id="
  96. # 构建二级接口的请求 URL，根据展品 ID 获取展品详情
  97. sub_url = sub_url + str(exhibit_id)
  98. # 请求数据
  99. sub_response = requests.get(sub_url, headers=fake_headers) # 发送 GET 请求，使用伪装的请求头信息
  100. content = sub_response.content
  101. text = content.decode('utf-8')
  102. # 将获取的数据解析成json对象
  103. sub_json_object = json.loads(text)
  104. # 从 JSON 对象中获取类型信息
  105. cate_name = sub_json_object["data"]["cate_name"]
  106. # '藏品名称' ,'年代' ,'类别','文物级别' ,'尺寸描述' ,'长' ,'宽' ,'高' ,'介绍'
  107. data.loc[len(data)] = [name,year,cate_name,leve,size_desc,length,width, height,intro] # 将提取的数据存储到 DataFrame 中
  108. print('藏品名称: %s ,年代: %s ,类别: %s ,文物级别: %s ,尺寸描述: %s ,长: %s ,宽: %s ,高: %s ,介绍: %s '
  109. %(name,year,cate_name,leve,size_desc,length,width, height,(intro[:10]+'...')))
  110. print("一共爬取：" + str(len(data)) + "行藏品数据信息")
  111. # 保存数据
  112. data.to_csv('./collect_data.csv',encoding='utf-8')
  113. '''
  114. 1. 按年代分组 数量：折线图
  115. 2. 按类别分组，扇形图
  116. 3. 按文物级别，条形图
  117. 4. 一级文物中朝代 柱状图
  118. 5. 一级文物中类别 多柱状图
  119. 6. 文物描述 词云图
  120. '''
  121. # 1. 各个年代的藏品数量的折线图
  122. def plot1():
  123. print("准备绘制图1：各个年代的藏品数量的折线图")
  124. plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文
  125. '''读取数据'''
  126. collectData = pd.read_csv('./collect_data.csv')
  127. # 年代按顺序排序：
  128. yearSet = ['新石器时代','商','西周', '春秋','战国','秦', '汉', '三国','东晋', '南北朝', '北魏', '东魏',
  129. '隋','唐','五代十国','宋','北宋','南宋','辽', '金','元', '明', '清', '民国','其他']
  130. group = collectData.groupby(by='年代') # 数据按年代分组
  131. yearNum = []
  132. for i in range(0,len(yearSet)):
  133. yearCollect = group.get_group(yearSet[i])
  134. yearNum.append(len(yearCollect))
  135. # 横坐标数据
  136. X = range(0,len(yearSet))
  137. fig = plt.figure(figsize=(12, 4)) # 绘图大小
  138. subfig = plt.subplot(1, 1, 1) # 子图对象
  139. subfig.plot(X, yearNum, '-*', color='lightgreen', linewidth=2, markersize='8')
  140. plt.xticks(X, yearSet,rotation=40)
  141. for a, b in zip(X, yearNum):
  142. '''在数据点上进行标注'''
  143. plt.text(a, b+2, b, ha='center', va='bottom')
  144. # 纵竖线
  145. subfig.set_ylim((0, 50))
  146. subfig.set_xlabel(r'年代')
  147. subfig.set_ylabel(r'数量')
  148. subfig.set_title('不同年代的藏品数量统计')
  149. plt.tight_layout()
  150. plt.savefig('./不同年代的藏品数量统计.png')
  151. plt.show()
  152. “针对藏品进行分类”
  153. # 2. 各个类型的藏品数量的扇形图
  154. def plot2():
  155. print("准备绘制图2：各个类型的藏品数量的扇形图")
  156. plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文
  157. '''读取数据'''
  158. collectData = pd.read_csv('./collect_data.csv')
  159. group = collectData.groupby(by='类别') # 数据按类别分组
  160. i = 0
  161. cate_list = set(list(collectData['类别'])) # 获取一共有哪些类别
  162. cate_count = list(range(0,len(cate_list)))
  163. for a_cate in cate_list:
  164. cate_df = group.get_group(a_cate)
  165. # 类别数量
  166. cate_count[i] = len(cate_df)
  167. i += 1
  168. fig = plt.figure(figsize=(8, 6))
  169. subfig = plt.subplot(1, 1, 1)
  170. subfig.pie(cate_count, labels=cate_list, autopct='%.1f%%')
  171. subfig.set_title('各类别的藏品数量扇形图')
  172. subfig.set_ylabel('')
  173. plt.savefig('./各类别的藏品数量扇形图.png')
  174. plt.show()
  175. “针对文物进行分类”
  176. # 3. 文物级别的数量 绘制条形图
  177. def plot3():
  178. print("准备绘制图3：文物级别的数量条形图")
  179. plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文
  180. '''读取数据'''
  181. collectData = pd.read_csv('./collect_data.csv')
  182. group = collectData.groupby(by='文物级别') # 数据按文物级别分组
  183. i = 0
  184. level_list = set(list(collectData['文物级别'])) # 获取一共有几级文物级别
  185. level_count = list(range(0, len(level_list)))
  186. for a_level in level_list: # 循环每个等级
  187. level_df = group.get_group(a_level)
  188. # 等级数量
  189. level_count[i] = len(level_df)
  190. i += 1
  191. fig = plt.figure(figsize=(8, 4))
  192. subfig = plt.subplot(1, 1, 1)
  193. y = list(range(len(level_list)))
  194. subfig.barh(y, level_count, height=0.5)
  195. subfig.set_xlabel('个')
  196. subfig.set_title('不同文物级别的藏品数量')
  197. plt.legend()
  198. plt.yticks(y, level_list)
  199. for a, b in zip(level_count,y):
  200. '''标注数据'''
  201. “并且对数据进行分类”
  202. plt.text(a+2, b, a, ha='center', va='bottom')
  203. plt.savefig('./不同文物级别的藏品数量.png')
  204. plt.show()
  205. “针对一级文物进行分类”
  206. # 4. 筛选出一级文物，统计一级文物里各个朝代的文物数量
  207. def plot4():
  208. print("准备绘制图4：统计一级文物里各个朝代的文物数量")
  209. plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文
  210. '''读取数据'''
  211. collectData = pd.read_csv('./collect_data.csv')
  212. group = collectData.groupby(by='文物级别') # 数据按文物级别分组
  213. level_1 = group.get_group('一级文物') # 获取一级文物的数据（DataFrame）
  214. group = level_1.groupby(by='年代') # 将一级文物的数据按年代分组
  215. i = 0
  216. year_list = set(list(level_1['年代'])) # 获取一共有哪些朝代
  217. year_count = list(range(0, len(year_list))) # 列表放每个朝代的藏品数量
  218. for a_year in year_list:
  219. year_df = group.get_group(a_year)
  220. # 类别数量
  221. year_count[i] = len(year_df)
  222. i += 1
  223. x = list(range(0, len(year_list)))
  224. fig = plt.figure(figsize=(10, 8))
  225. subfig = plt.subplot(1, 1, 1)
  226. subfig.bar(x, year_count,color='lightgreen')
  227. for a, b in zip(x,year_count):
  228. '''标注数据'''
  229. plt.text(a, b+0.1, b, ha='center', va='bottom')
  230. subfig.set_ylim((0, 5.5))
  231. plt.xticks(x, year_list) # rotation=-50
  232. subfig.set_ylabel(r'藏品数量')
  233. subfig.set_title('一级文物中来自各个朝代的藏品的数量')
  234. plt.savefig('./一级文物中来自各个朝代的藏品的数量.png')
  235. plt.show()
  236. “针对一级文物进行分类”
  237. # 5.一级文物中 按类别 画环形图
  238. def plot5():
  239. print("准备绘制图5：统计一级文物里各个类别的文物数量环形图")
  240. plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文
  241. '''读取数据'''
  242. collectData = pd.read_csv('./collect_data.csv')
  243. group = collectData.groupby(by='文物级别') # 数据按文物级别分组
  244. level_1 = group.get_group('一级文物') # 获取一级文物的数据（DataFrame）
  245. group = level_1.groupby(by='类别') # 将一级文物的数据按年代分组
  246. i = 0
  247. cate_list = set(list(level_1['类别'])) # 获取一共有哪些朝代
  248. cate_count = list(range(0, len(cate_list))) # 列表放每个朝代的藏品数量
  249. for a_cate in cate_list:
  250. cate_df = group.get_group(a_cate)
  251. # 类别数量
  252. cate_count[i] = len(cate_df)
  253. i += 1
  254. x = list(range(0, len(cate_list)))
  255. fig = plt.figure(figsize=(7, 7))
  256. subfig = plt.subplot(1, 1, 1)
  257. # 要把离心率设置远一点，怕第二个饼图挡住这个百分率
  258. subfig.pie(cate_count, pctdistance=0.8, autopct='%.1f%%')
  259. # 所谓的环形图，就是再画一个比上个图小的饼图，并且为白色，所以半径要小
  260. subfig.pie([1], radius=0.6, colors='w')
  261. subfig.legend(cate_list, loc='upper left')
  262. subfig.set_title('一级文物中各个类别的藏品的占比')
  263. plt.savefig('./一级文物中各个类别的藏品的占比.png')
  264. plt.show()
  265. ## 6. 对藏品介绍绘制词云图
  266. def plot6():
  267. print("准备绘制图6：对藏品介绍绘制词云图")
  268. plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文
  269. '''读取数据'''
  270. collectData = pd.read_csv('./collect_data.csv')
  271. intro = list(collectData['介绍'])
  272. new_text = []
  273. all_text = ''
  274. for str in intro:
  275. # 去除无用的标点符号，分词和预处理
  276. remove_chars = '[brp·’!"\#$%&\'()＃！（）*+,-./:;<=>?\@，：。?￥★、…．＞【】［］《》？“”‘’\[\\]^_`{|}~]+'
  277. str = re.sub(remove_chars, "", str)
  278. str.replace('br', '').replace('p', '')
  279. result = jieba.cut(str)
  280. a = ','.join(result).split(',')
  281. new_text.append(a)
  282. # 去除停用词
  283. stopwords = get_stopword_list('stopwords.txt') # 获取停用词列表，加载停用词的路径为'stopwords.txt'
  284. stopwords.append('厘米') # 添加额外的停用词
  285. stopwords.append('这件')
  286. stopwords.append('')
  287. for s in new_text:
  288. for word in s:
  289. if word not in stopwords: # 判断分词后的词语是否在停用词表内
  290. if word != '\t' and len(word) > 1: # 去除空字符和长度小于2的词语
  291. all_text += word + ' ' # 拼接所有分词后的词语
  292. # 词云图
  293. font = "C:\\Windows\\Fonts\\simsun.ttc" # 词云的中文字体所在路径
  294. wc = WordCloud(
  295. scale=4, # 调整图片大小---（如果设置太小图会很模糊）
  296. font_path=font, # 使用的字体库
  297. max_words=300, # 词云显示的最大词数
  298. margin=1, # 字体之间的间距
  299. background_color='white', # 背景颜色
  300. max_font_size=60,
  301. # min_font_size=1,
  302. # stopwords=STOPWORDS, #屏蔽的内容
  303. collocations=True, # 避免重复单词
  304. # width=1600, height=1200 # 图像宽高，字间距
  305. )
  306. wc.generate(all_text)
  307. wc.to_file('词云图.jpg') # 保存到当地文件
  308. if __name__ == '__main__':
  309. crawling()
  310. plot1()
  311. plot2()
  312. plot3()
  313. plot4()
  314. plot5()
  315. plot6()

总结：

博物馆网络爬虫与数据可视化相结合，为文化遗产的数字化管理提供了有力支持。通过博物馆网络爬虫，实现对博物馆网站数据的自动抓取和整理，形成结构化的数据集。数据可视化则将这些数据以直观、生动的方式呈现出来，便于用户理解和分析。这种结合不仅提高了数据处理的效率和准确性，还为用户提供了更加丰富和深入的洞察力。通过数据可视化，用户可以快速识别数据中的模式、趋势和关联，进一步挖掘文化遗产的价值。这种技术有助于推动学术研究的进步，促进跨学科的合作，同时也为公众提供了更加便捷的文化资源访问途径。

posted @   丁丁0118  阅读(147)  评论(0)  编辑  收藏  举报
相关博文：
· 2203840423邓佳湧python期末作业
· python系列：基于爬虫技术的知识图谱可视化实现—— 以河海大学教师信息为例
· 【python爬虫课程设计】去哪儿旅游网--数据爬取+数据分析
· python爬虫
· python爬虫------------旅游的地点的爬取和可视化
阅读排行：
· Manus重磅发布：全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
点击右上角即可分享
微信分享提示