使用Python爬虫整理小说网资源-自学
第一次接触python，原本C语言的习惯使得我还不是很适应python的语法风格。希望读者能够给出建议。
相关的入门指导来自以下的网址：https://blog.csdn.net/c406495762/article/details/78123502编者的文章很用心，好评。
下面是本次自学的详细说明：
----->确认目标：我选择一个不是很出名的小说网，之所以这么做，是因为一些大网站上一般都有一些反爬虫机制，作为一只弱鸡，还是选个容易上手的小网站。
->穿越小说网->《妖界之门》:http://www.15kxs.com/cbbook_22000/->这是章节汇总
点开第一章：http://www.15kxs.com/cbbook_22000/1.html 对比两个网址再多点开几个网页就很容易发现URL中的规律。但是这里为了更好的熟悉相关代码，我决定进行如下操作：
在章节汇总的网页上提取各个章节的网址并逐一请求，清洗网页源代码得到文章，并将文章汇总到本地的txt文件中。
目标是提取<a>中的“href=”的地址
下面是Python代码
1 # -*- coding:UTF-8 -*- 2 from bs4 import BeautifulSoup 3 import requests 4 filename = 'novel.txt' 5 6 if __name__ == "__main__": 7 aim = "http://www.15kxs.com/cbbook_22000/" 8 cyc = requests.get(aim) 9 psd = cyc.text 10 cnt = BeautifulSoup(psd,features="html.parser") 11 clc = cnt.find_all('a') 12 first = 0#在实验过程中发现章节网页中<a>的所有选项中提出的网址不仅仅包括着小说页面，对于其他页面进行筛选 13 for haim in clc: 14 link = haim.get('href') 15 lenth = len(link) 16 if first>2 and lenth!=0 and link[0]=='/': 17 """拿到了每一个章节的链接尾地址""" 18 urlaim="http://www.15kxs.com"+link 19 request_get = requests.get(urlaim) 20 html = request_get.text 21 ctm = BeautifulSoup(html,features="html.parser") 22 tex = ctm.find_all('div',id='BookText') 23 result = tex[0].text.replace('\xa0','')#编码格式是一个难点，能够打印到屏幕上的字符不一定能写入文件 24 with open(filename,'a',encoding='utf-8') as file_object: 25 file_object.write(result) 26 first = first+1#用于计算数量 27 print(str(first)+" is ok") 28 print("all above is ok")
效果如下：
表示效果还可以
唯一不足的是：抽取速度有些慢，5分钟内只能整理110章节左右
