爬虫初体验-多进程爬取多部小说
主脚本:
#主函数
#爬虫快慢的一个主要因素:网络
#爬下来的小说的顺序依据网址书籍首页目录顺序.
import re
import novel
import requests
import multiprocessing
def action(name_url):
if len(name_url)<2:
return;
my_novel=novel.GrabNovel(novel_name=name_url[0]);
index=1;
my_novel.get_url(name_url[1]); #初始化url
while len(my_novel.all_url) != index:
my_novel.get_url();
#print("第"+str(index)+"个:\t"+str(my_novel.url));
my_novel.get_strHTML();
my_novel.wirite_title_content();
index+=1;
if __name__=='__main__': #多进程一定要在主函数中
num=10;
#构造[[name.url]];
name_str=[];#['大主宰.txt','龙王传说.txt','神道丹尊.txt','雪鹰领主.txt','择天记.txt','遮天.txt','全职高手.txt','逍遥小书生.txt','一念永恒.txt','完美世界.txt','异世灵武天下.txt','绝世武神.txt','最强兵王.txt','不朽凡人.txt'];
url_str=['https://www.qu.la/book/176/','https://www.qu.la/book/13453/','https://www.qu.la/book/13781/','https://www.qu.la/book/5094/','https://www.qu.la/book/168/','https://www.qu.la/book/394/','https://www.qu.la/book/32/','https://www.qu.la/book/23934/','https://www.qu.la/book/16431/','https://www.qu.la/book/14/','https://www.qu.la/book/199/','https://www.qu.la/book/322/','https://www.qu.la/book/4511/','https://www.qu.la/book/18049/']
name_url=[];
p=multiprocessing.Pool(); #创建线程池,池的默认大小是此电脑的cpu核心数
for i in range(0,len(url_str)):
html = requests.get(url_str[i]).content.decode('UTF-8');
name=re.findall('(?<=<h1>).*?(?=</h1>)',html);
if len(name)==0:
print("网址%s没能获取到小说名."%(url_str[i]));
else:
name=name[0]+'.txt';
name_str.append(name);
temp=[];
temp.append(name_str[i]);
temp.append(url_str[i]);
name_url.append(temp);
#action(name_url[i]);
p.apply_async(action,args=(name_url[i],)); #apply_async是异步非阻塞式的。
#这里有个小问题,我笔记本的核心数是8核心,我在创建线程池的时候没有指定大小,于是,线程池容量就是8个线程,然而我给出的url多于8个,此时for运行完毕之后会有一共14个线程被加进去,
#所以我们看到的显示是最开始有8本小说在爬取,而后一阵子之后有新的小说被爬取.
p.close(); #close必须在join前调用。
p.join(); #主进程阻塞，等待子进程的退出， join方法要在close或terminate之后使用。
novel类:(将就看):
#小说类
import requests #第三方模块,需要额外安装 pip3 install requests
import re
class GrabNovel(object):
#这个小说名字其实还可以从给定的URL中获取到.
def __init__(self,novel_name):
self.name=novel_name;
self.novel_contnet = open(novel_name,mode='w',encoding='UTF-8');
self.html="";
self.all_url=[];
self.url="";
self.book_url='';
self.str_len=0;
self.index=0;
def __del__(self):
self.novel_contnet.close();
print("\t\t\t%s爬取完毕."%(self.name));
def t(self,str):
zhong={'零':0,'一':1,'二':2,'三':3,'四':4,'五':5,'六':6,'七':7,'八':8,'九':9};
danwei={'十':10,'百':100,'千':1000,'万':10000};
num=0;
if len(str)==0:
return 0;
if len(str)==1:
if str == '十':
return 10;
num=zhong[str];
return num;
temp=0;
if str[0] == '十':
num=10;
for i in str:
if i == '零':
temp=zhong[i];
elif i == '一':
temp=zhong[i];
elif i == '二':
temp=zhong[i];
elif i == '三':
temp=zhong[i];
elif i == '四':
temp=zhong[i];
elif i == '五':
temp=zhong[i];
elif i == '六':
temp=zhong[i];
elif i == '七':
temp=zhong[i];
elif i == '八':
temp=zhong[i];
elif i == '九':
temp=zhong[i];
if i == '十':
temp=temp*danwei[i];
num+=temp;
elif i == '百':
temp=temp*danwei[i];
num+=temp;
elif i == '千':
temp=temp*danwei[i];
num+=temp;
elif i == '万':
temp=temp*danwei[i];
num+=temp;
if str[len(str)-1] != '十'and str[len(str)-1] != '百'and str[len(str)-1] != '千'and str[len(str)-1] != '万':
num+=temp;
return num;
#此方法依赖 request,re模块
#此函数的作用:获取字符串型式的网页源码,以get方式
#参数就是网址,返回网页源码,对传入的数据类型和内容进行简单检查
#一次只能传入一个URL
def get_strHTML(self):
if type(self.url) != type("http://baidu.com"):
self.html = "传入的变量类型不是字符串类型";
if len(self.url) == 0:
self.html = "传入值为空";
#http:// https:// ftp:// file://
if len(re.findall('http://|https://|ftp://|file://|www.',self.url)) != 0:
self.html = requests.get(self.url).content.decode('UTF-8');
else:
self.html = "传入的值不是常见协议头.";
def sort_t(self,num):
return num[0];
#一定要最先调用这个函数初始化url列表.
def get_url(self,url="https://www.qu.la/book/"):
if self.url == "":
self.book_url=url;
#self.html=re.sub('\n',"",self.html);
#print(self.html);
#抓取另一本的时候要把11355改掉.注意观察url就知道了.
book_num=re.findall('(?<=/)\d+?(?=/)',self.book_url);
regular='(?<=<a style="" href="/book/'+book_num[0]+'/).*?第.*?(?=章)';
self.url=self.book_url;
self.get_strHTML();
temp=re.findall(regular,self.html); #获取到的列表的内容大概是:5976000.html">第328
num='';
my_url='';
for i in range(0,len(temp)):
num=(re.findall('(?<=第).*?$',temp[i])[0]);
try:
num=int(num);
except ValueError:
num=int(self.t(num));
my_url=(re.findall('.*?(?=">)',temp[i])[0]);
group=[];
group.append(num);
group.append(my_url);
self.all_url.append(group);
#排序
#self.all_url.sort(key=self.sort_t);
if len(self.all_url) == 0:
print('网址:%s查询到的章节目录长度为0!'%(self.book_url));
else:
print("%s找到%d章节."%(self.name,len(self.all_url)));
else:
self.url=self.book_url+self.all_url[self.index][1];
self.index+=1;
'''
self.url=url;
else:
temp=re.findall('章节列表.*?href=.+?下一章',self.html);
temp=re.findall('(?<=href=").*?(?=\.)',temp[0]);
temp=temp[0]; #现在应该是这样的:4669985
try:
num=int(temp);
except ValueError:
self.novel_contnet.seek(self.str_len * -1,1);
return;
else:
self.url="https://www.qu.la/book/11355/"+temp+'.html'; #爬取的是笔趣阁的(虽然不知道是不是真的笔趣阁)
'''
#此函数依赖re模块
#此函数提取网页源代码中的标题和内容
#给定参数为字符串.
#此函数返回列表,第一项是章节名,第二项是章节内容.(标题是<h1></h1>里面的内容,内容则是<div id="content"></div>标签里面的正文),
#给定参数不是源代码时返回空列表
#给定参数为空时返回空列表
#给定参数类型不正确返回空列表
#此函数不完善,某些内容不能获取到
def wirite_title_content(self):
if type(self.html) != type("http://baidu.com"):
self.chapter = [];
if len(self.html) == 0:
self.chapter = [];
#匹配<!DOCTYPE html或者<!doctype html
if len(re.findall('<![Dd][Oo][Cc][Tt][Yy][Pp][Ee]\s[Hh][Tt][Mm][Ll]\s*?',self.html)) == 0:
self.chapter = [];
temp=re.findall('(?<=<h1>).*?(?=</h1>)',self.html);
if len(temp) != 0:
self.novel_contnet.write(temp[0]+'\n');
#print(temp);
else:
self.novel_contnet.write('\n');
print("无标题");
#将<div id="content"></div>标签里面的内容弄下来而已
self.html=re.sub('\n',"",self.html); #这里有个我一直忽略的细节,哪怕我们把多行文本读为一个字符串,在进行匹配的时候很有可能会因为那些换行符失效.我不清楚re.findall函数是怎么实现的,但是没删除\n和删除之后完全是两码事.
content_div=re.findall('(?<=content">).*?(?=</div>)',self.html);
if 0 == len(content_div):
print("\t\t\t\t\t\t\t\t%s\t%s没有获取到内容,正则表达式.\turl:%s."%(self.name,temp,self.url));
for i in range(0,len(content_div)):
content_div[i]=re.sub('<br\s/> ','',content_div[i]);
content_div[i]=re.sub(' ','\n',content_div[i]);
content_div[i]=re.sub('</br>.*?</script>','',content_div[i]);
self.novel_contnet.write(content_div[i]+'\n');
self.str_len=len(content_div[i]+'\n');
#只能转数字,传参中包含非数字会错.
中文转阿拉伯数字那个在这里实际上没用处,我忘了去掉了.最开始是想给小说章节排序,然鹅有些顺序着实难搞.就放弃了.
