20211210王宇轩《Python程序设计》实验四 Python综合实践实验报告

课程：        《Python程序设计》
班级：      2112
姓名：王宇轩
学号：        20211210
实验教师：王志强
实验日期： 2022年5月28日
必修/选修：公选课

一.实验内容

1.Python综合应用：

爬虫、数据处理、可视化、机器学习、神经网络、游戏、网络安全等。
注：在华为ECS服务器(OpenOuler系统)和物理机(Windows/Linux系统)上使用VIM、PDB、IDLE、Pycharm等工具编程实现。

2.灵感来源：

作为一个网络小说骨灰级爱好者，当老师最后一次课用爬虫爬取天气时，我就已经按耐不住要去爬取网络小说，一来是对学习成果的检验，二来符合自己的兴趣，做起来兴致更高，能更好地完成目标。

3.主要内容：

用爬虫爬取网页上的小说，并下载到D盘。

二、实验过程及结果

爬取网站：顶点小说

1、先查找搜索时的规律：
搜索圣墟时网站为：https://www.118book.com/book/80/，代号80

搜索斗破苍穹时网站为：https://www.118book.com/book/609/，代号609

可以得出每一个数字都代表一本书，因此可以使用循环获取某个范围内的所有书名

2、查看网页源代码（F12，Ctrl+R），查找书名位置，从以下图片可以看出，书名位于id为info的div标签中的h1

3、建立一个字典bookNames，来存放书名以及对应的编号
代码如下：

4.搜索指定书名
搜索书名是在bookNames字典中查找，如果存在返回书籍的编号，否则返回-1。注：循环中value的类型是 'bs4.element.NavigableString，而name的类型是String，比较是否相等时要进行类型转换，否则一直返回-1

5. 获取书籍的章节目录
（1）该方法要获取书籍的章节目录以及每一章节对应的网址，并将其保存，为之后的书籍下载做准备这一部分应该是最重要的地方
（2）分析网页源码

从网页源码中可以看出，每一个class为_chapter中包含3个小章节，所有要获取所有的class为_chapter的ul，然后再遍历其中的子节点
注：这里有关问题class是python的关键字，不能在这里使用只能先获取id为list的div，然后在获取ul

6.下载小说
（1）最后一个阶段将小说保存的本地，想法是小说名作为文件名，每一章节都是一个单独的以章节名为命名的txt文件
（2）随便打开一个章节，可以得到网址，例如：https://www.118book.com/book/609/59043.html，可以得出规律只需要在https://www.118book.com/book/609/拼接上对应的编号即可打开每一章节
（3）查看源代码，获取小说内容所在的标签

从源代码中可以看出只需要获得id为content的div标签即可

7.找到自己想看的小说地址（作为老书虫的我找了几本曾经熬夜爆肝的小说）

8.完整代码

import requests
from bs4 import BeautifulSoup
import bs4
import os

# 获取书库
def getBookName(bookNames, number):
    for i in number:
        url = 'https://www.118book.com/book/'+str(i)
        try:
            r = requests.get(url, timeout=30)
            r.raise_for_status
            r.encoding = r.apparent_encoding
            demo = r.text
            soup = BeautifulSoup(demo, 'html.parser')
            for tag in soup.find(id='info').children:
                if(tag.name == 'h1'):
                    bookNames[i] = tag.string

        except:
            print("爬取失败")


# 搜索指定书籍
def searchBook(bookNames):
    name = input("输入要搜索的书名：")
    id = -1
    for key, value in bookNames.items():
        if name == str(value):
            id = key
    return str(id)


# 获取所有的章节
def getChapter(chapters, bookNames, id):
    url = 'https://www.118book.com/book/'+id
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status
        r.encoding = r.apparent_encoding
        demo = r.text
        soup = BeautifulSoup(demo, 'html.parser')
        string = ''
        for uls in soup.find(id='list').children:  # 获取所有的ul
            string += str(uls)     # 注意类型
        soup = BeautifulSoup(string, 'html.parser')
        for a in soup.find_all('a'):    # 获取所有a标签
            # 注意href是a标签的一个属性，不能直接a.href
            chapters[a.attrs['href']] = a.string

    except:
        print("章节获取失败")


# 下载小说
def saveNovel(bookNames, chapters, flog):
    i = -1
    id = searchBook(bookNames)
    getChapter(chapters, bookNames, id)
    url = 'https://www.118book.com/book/'+id+'/'
    for key, value in chapters.items():
        i += 1
        if(flog == True and i == 10):
            break
        try:
            href = url+key
            r = requests.get(href, timeout=30)
            r.raise_for_status
            r.encoding = r.apparent_encoding
            demo = r.text
            soup = BeautifulSoup(demo, 'html.parser')
            div = soup.find_all(id='content')
            text = (str(div)).replace('<br/>', '\n')  # 替换换行符的形式
            path = 'D:/'+bookNames[int(id)]       # 存放小说的文件夹
            if not os.path.exists(path):   # 检测文件夹是否存在
                os.mkdir(path)
            file = open(path+'/'+value+'.txt', 'w', encoding="utf-8")
            file.write(text)
            file.close()

        except Exception as re:
            print(re)
    print("下载完成")


bookNames = {}    # 存储获取的所有书名
chapters = {}      # 存储指定小说的章节

getBookName(bookNames, [80,84,609,2849,23519])
print(bookNames)
saveNovel(bookNames, chapters, True)

9.程序运行截屏

10.查看D盘是否下载成功

总体上基本完成预期任务，就是章节名有点乱，期待以后能够改进。

三、上传ESC服务器

恰好这学期程序设计课也需要用华为云提交实验报告，我也就省去再买服务器的过程，并且之前C语言实验报告要求用用putty，我积累了一定经验，而上python课时听王老师说用putty也可以，所以以下使用putty。

复制ip地址并上传。

登陆成功

爬取成功

检查

四、遇到的问题

问题1.基础知识不牢固。
问题1解决方案：CSDN查找资料恶补（血泪史）

问题2：文件无法在服务器上用python2运行。
问题2解决方案：安装python3后用python3来运行。
问题3：上传到putty运行时无法找不到爬取的小说。（本来保存到D盘）
问题3解决方案：修改源代码中的保存地址。（在D盘新建一个文件夹用来存放爬取的小说）

五、课程总结（完结撒花）：

首先由衷感谢王老师这一学期的教导，老师讲课很有趣也很生动，常常在欢声笑语中就将知识点讲清楚。作为一个火影迷，我第一次看到老师微信头像就感觉很亲切，老师也像卡卡西一样帅气哈哈，爱阳光爱笑值得信赖。

然后谈一谈我的体会吧，刚开始为什么选python这门课呢，我当时想的是正好也要学C，不如选修选门python，到时候C和python双修岂不美哉（but理想很丰满，现实很骨感）。这学期的活动数目和课程难度都要超过上学期，静下心来学习很少，敲代码的时间更是少之又少。因为上学期自学了点C语言，刚开始学python的时候觉得好简单（请原谅当时无知的我），没有那么多条条框框，很符合人的习惯，用起来很便捷。还记得那个besti计算机，哈哈挺好玩也挺实用。不过到了期中那一段时间吧，课程难度提升上去，而我又是在上了一天课后身心俱疲的情况下来学python，有点跟不上老师的进度，下课又要忙着其他学科的复习，没有及时解决python课的疑问，导致我课堂上越听越迷茫，实验三在同学帮助下才勉强完成（ps：实验报告提交上去后不太甘心，又自己重做了遍实验三的服务器，还是挺有成就感的）。最后这次实验，个人感觉比前几次实验加起来难度难度还要大，一来是爬虫要和很多知识联系起来（类，标签，文件等等），而我在这些方面知识又有些欠缺，只好花时间看网课以及上CSDN上查找资料慢慢钻研；二来是要上传到ESC服务器上（本来以为和C语言上传到putty差不多（又一次年少无知），亲身实践时困难重重，而且这方面内容在网上也不容易找到专门的解决方法）。不过最后好在可以说天道酬勤吧（两个周六整天加上一些零碎时间），基本上完成了目标，我个人也比较满意，成就感也很足。做完这次实验后之后突然很想继续学习python，哈哈以前恨之愈切，如今爱之愈深。在自己成功爬取小说后，以及在看了其他同学的成果（如提醒体温打卡，照片墙，飞机大战等等五花八门），我这更加真切感受到python可以便捷我们的生活，而且这种便利也可以提供给他人，赠人玫瑰，手有余香。哈哈不多说了，暑假我还得搞YOLOv5对抗研究，这是用python实现的项目，希望到时候python手下留情（手动狗头）。

然后给老师提个小小的建议吧，老师的课讲的很好，水平很高，讲课内容如何精进如何更加富含逻辑以及如何更加通俗易懂，不是我这个初学者能想到的。我想给老师的建议是鼓励同学们在python微信大群中提出自己的疑问，让其他同学帮助解决问题。一方面可以缓解老师的压力（老师精力有限，有时候无法像学生给学生讲那么详细），二来也可以帮助同学们拓宽交际面，增进不同系同学的情谊（我个人认为还是挺有好处的）。

最后祝王老师工作更加顺心，课讲得越来越好，喜欢您的学生越来越多。