自动下载MarkDown格式会议论文的程序
近期师兄发给我一个压缩包让我整理文献，而我发现压缩包里的内容是这样：
这样：
和这样的：
我大概看了一下，可能有270多篇文章是这种格式，俗话说的好，没有困难的工作，只有勇敢的研究僧。所以决定用Python自己写一个脚本。
尽管这个程序还有许多不足之处：
1）在部分网站对于文件很大的时候，可能会只下载一个18kb左右的无法打开文件；
2）程序运行时可能会出现网络或者文件异常，没有对异常进行处理；
3）因为md文件里面的pdf文章地址，有的打开是网站、有的打开可以直接下载，有的打开是pdf文件......，所以还需要人工去分一下哪一类域名下的网址可以直接下载或是pdf文件，一共可能也就20种以内，打印一下选几个关键词判断一下就行。
这个程序的主要思想：
1）利用Python对文件夹和文件进行遍历；
2）读取md文件内容并且根据# 标识识别文章标题，利用“pdf”和正则表达式识别出pdf下载的地址；
3）使用urllib库的urlretrieve对指定网址的资源文件进行下载到指定文件夹。
结果：实现260+篇文章的自动下载，并将无法下载的文章名和网址保存在相关的文件内。最后希望能够对你产生帮助，如果有帮助可以点个赞。
具体如下：
代码如下：
import os import re from urllib.request import urlretrieve import ssl from urllib import request opener = request.build_opener() opener.addheaders = ([('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36')]) request.install_opener(opener) # 关闭证书验证，方便下载 ssl._create_default_https_context = ssl._create_unverified_context # md根路径 ori_path=r'D:\conference_publication' pattern = re.compile(r'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+') # 网页地址匹配模式 listdir=os.listdir(ori_path) # print(listdir) # 文章名和网页地址 paper_title='' pdf_path='' # 文献保存路径 save_dir=r'D:\conference paper' # 可访问的地址 # aclweb可以在手机热点访问 access_strings=['aaai.org','dl.acm.org','playbiqdata','pasinit','platanios','muhaochen.github.io','aclweb.org', 'arxiv.org','openreview.net','proceedings.mlr.press','semantic-web-journal.net','aidanhogan.com'] # 保存下载失败的地址 fail_file=os.path.join(save_dir,'fail_down.txt') for son_path in listdir: # 遍历每个会议文件夹 new_dir=os.path.join(ori_path,son_path) # 生成会议文件夹路径 # print('会议文件夹路径：',new_dir) son_listdir=os.listdir(os.path.join(ori_path,son_path)) # 会议文件夹下文章文件夹数组 # print('会议文章：',son_listdir) for new_son_path in son_listdir: # 遍历 每个会议文件夹下，每个文章文件夹 if new_son_path != 'README.md': # 不访问会议文件夹下的README.md文件 file_dir = os.path.join(new_dir, new_son_path) # 生成文章文件夹路径 print('文章文件夹路径：',file_dir) file_name=os.listdir(file_dir) # 获取README文件名称，发现有一些文件命名不是很统一 # print(file_name) # print(len(file_name)) # 如果不是一个文件，理论上是一个md文件 if len(file_name)>1: print('该文件夹下不止一个文件？',file_dir) # 如果文件夹下没有md文件 if len(file_name)==0: print('该文件夹下没有文件：',file_dir) continue md_file = os.path.join(file_dir, file_name[0]) # print('文章README文件路径：',md_file) f=open(md_file,encoding='utf-8') for line in f: # print(line) if '# ' in line: paper_title=line[2:] print('Paper Title: ',paper_title) # 打印一下文章名 if '**pdf**' in line: url = re.findall(pattern, line) if url[0][-1]=='f': pdf_path=url[0] else: pdf_path=url[0][:-1] print('PDF DownPath: ',pdf_path) # 匹配到的第一个字符串，去除最后面的 ) exist=False for sub_string in access_strings: if sub_string in pdf_path: exist=True if 'ijcai.org' in pdf_path and 'pdf' in pdf_path: exist=True if 'ijcai.org' in pdf_path and 'pdf' not in pdf_path: exist=True tail_str=pdf_path[-3:] pdf_path=pdf_path[:-3]+'0'+tail_str+'.pdf' print('ijcai not pdf new path: ',pdf_path) if exist==True: paper_title=paper_title.rstrip() paper_title=paper_title.replace('\n','') paper_title=paper_title.replace(':','_').replace('?','_').replace('!','_').replace('/','_') save_file_path=save_dir+'\\'+str(son_path)+'_'+paper_title+'.pdf' # 判断文件是否存在： if os.path.exists(save_file_path) == True: print('已存在') continue request.urlretrieve(pdf_path,save_file_path) # 请求下载 else: print('下载失败...') print(paper_title,' ',pdf_path) print(exist) failop = open(fail_file, 'a', encoding='utf-8') failop.write(paper_title.replace('\n','')) failop.write('\n') failop.write(pdf_path) failop.write('\n') failop.write('\n') failop.close() f.close()
