爬虫之小说爬取

以笔趣阁网站为例，爬取一念永恒这本小说

链接如下：http://www.biqukan.com/1_1094

 具体代码如下：

from bs4 import BeautifulSoup
from urllib import request
import requests
import re
import sys
def Down_this_chapter(chapter_url,name):#单章下载
    r = requests.get(chapter_url,timeout = 30)#防止爬取时间过长造成爬虫假死
    r.raise_for_status()#自动判断返回的状态码是不是200
    r.encoding = r.apparent_encoding#使用备用编码代替现在的编码，一般是'utf-8'
    demo = r.text#获得页面文本信息
    soup=BeautifulSoup(demo,'lxml')#解析页面
    text=soup.find_all(id='content',class_='showtxt')#寻找特定标签下的内容
    soup_text = BeautifulSoup(str(text), 'lxml')#重写解析页面
    demo1=soup_text.div.text.replace('\xa0','')#去除无用内容
    print(name)
    with open('D:一念永恒.txt','a',encoding='utf-8') as f:#将找到的内容写到D盘下的文件中
        f.write('\t\t\t\t\t\t\t\t\t\t'+name+'\n')#处理章节名格式问题
        f.write(''  +demo1)
        f.write('\n\n')
        f.close()
        
def Novel_url(novel_url):#章节链接下载
    r = requests.get(novel_url,timeout = 30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    demo = r.text
    soup = BeautifulSoup(demo,'lxml')
    text = soup.find_all('div',class_ = 'listmain')
    soup_url = BeautifulSoup(str(text),'lxml')
    flag=False
    numbers=(len(soup_url.dl.contents) - 1)#为查看下载进度服务
    index=1
    for child in soup_url.dl.children:#遍历章节
        if child!='\n':#过滤
           if child.string ==u"《一念永恒》正文卷":#爬取正文卷
               flag=True#标识符
           if flag==True and child.a!=None:#爬取章节链接的条件
                download_url = "http://www.biqukan.com"+child.a.get('href')#获得爬取链接
                name = child.string
                Down_this_chapter(download_url,name)
                sys.stdout.write("已下载:%.3f%%" % float(index/numbers) + '\r')
                sys.stdout.flush()
                index += 1
               
def main ():
    novel_url='http://www.biqukan.com/1_1094/'#获得笔趣阁要爬取的小说的地址
    Novel_url(novel_url)#爬取章节的链接
    print("爬取小说成功，请到D盘下查看")
main()

"""下面是部分爬取结果：
外传1 柯父。
已下载:0.000%
外传2 楚玉嫣。
已下载:0.001%
外传3 鹦鹉与皮冻。
已下载:0.001%
第一章 他叫白小纯
已下载:0.002%
第二章 火灶房
已下载:0.002%
第三章 六句真言
已下载:0.002%
第四章 炼灵
已下载:0.003%
第五章 万一丢了小命咋办
已下载:0.003%
第六章 灵气上头
已下载:0.003%
第七章 龟纹认主
已下载:0.004%
第八章 我和你拼了！
已下载:0.004%
第九章 延年益寿丹
已下载:0.005%
第十章 师兄别走
已下载:0.005%
第十一章 侯小妹
已下载:0.005%

"""

总结：一定要对将要爬取的网页的代码进行彻底的分析，不然可能得不到想要的效果

若有不足错误的地方，欢迎兄弟们拍砖指正，大家一起学习，一起进步！！！！