摘要： 说明：当爬虫在运行过程中遇到异常或则服务器遇到问题，可以通过Email及时向目标邮件发送报告 from email.mime.text import MIMEText from email.header import Header from email.utils import parseaddr, 阅读全文

摘要： >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 仅学习参考 说明：先将待提取的url提取出来，然后交给urllib.request.urlretrieve函数去下载， 自动调用schedule函数，显示当前下载的进 阅读全文

摘要： 1、概念 分布式进程指的是将Process进程分布到多台机器上，充分利用多台机器的性能完成复杂的任务。 multiprocessing模块不仅支持多进程，而且其中的managers模块还支持把多进程分布到多台机器上。例如，写一个服务进程作为调度者，将任务分布到其他多个进程中，依靠网络通信（将Queu 阅读全文