Python3爬虫--两种方法（requests(urllib)和BeautifulSoup）爬取网站pdf
- 1、任务简介
本次任务是爬取IJCAI（国际人工智能联合会议）最新2018年的pdf论文文件。
本次编码用到了正则表达式从html里面提取信息，如下对正则表达式匹配规则作简要的介绍。
- 2、正则表达式规则
\w匹配字母数字及下划线
\W匹配非字母数字及下划线
\s匹配任意空白字符，等价于 [\t\n\r\f].
\S匹配任意非空字符
\d匹配任意数字，等价于 [0-9]
\D匹配任意非数字
\A匹配字符串开始
\Z匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串
\z匹配字符串结束
\G匹配最后匹配完成的位置
\n匹配一个换行符
\t匹配一个制表符
^匹配字符串的开头
$匹配字符串的末尾
.匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[...]用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k'
[^...]不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
*匹配0个或多个的表达式。
+匹配1个或多个的表达式。
?匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
{n}精确匹配n个前面表达式。
{n, m}匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
a|b匹配a或b
( )匹配括号内的表达式，也表示一个组
- 3、代码实现
第一种方法实现如下：
1 # -*- coding: utf-8 -*- 2 """ 3 Created on Tue Aug 7 12:32:25 2018 4 5 @author: Lenovo 6 """ 7 import urllib.request 8 import re 9 import os 10 11 url = 'http://www.ijcai.org/proceedings/2017/' 12 13 def getHtml(url): 14 request = urllib.request.Request(url) 15 request.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36') 16 response = urllib.request.urlopen(request) 17 html = response.read() 18 19 return html 20 21 html = getHtml(url) 22 23 def getPaper(html): 24 if not os.path.exists('IJCAI_2017') : #文件夹不存在时，再进行创建 25 os.mkdir('IJCAI_2017') 26 os.chdir(os.path.join(os.getcwd(), 'IJCAI_2017')) 27 28 reg = 'href="(\d{4}\.pdf)"' #正则表达式 29 papre = re.compile(reg) 30 addr_list = re.findall(papre, html.decode('utf-8')) 31 32 num = len(addr_list) 33 print('论文总数：', num) 34 35 m =1 36 for paperurl in addr_list: 37 fname = '%s.pdf' %m#论文下载名 38 paper_url = url + paperurl#论文下载地址 39 print(paper_url) 40 paper = getHtml(paper_url) 41 42 with open(fname, 'wb') as f: 43 f.write(paper) 44 45 m += 1 46 47 print('已下载') 48 f.close() 49 50 getPaper(html)
第二种方法实现如下：
1 # -*- coding: utf-8 -*- 2 """ 3 Created on Sun Aug 5 10:41:13 2018 4 5 @author: Lenovo 6 """ 7 import requests 8 import os 9 from bs4 import BeautifulSoup, Comment 10 11 url = 'http://www.ijcai.org/proceedings/2018/' 12 headers = {'Host' : 'www.ijcai.org', 'User-Agent' : 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} 13 14 def find_paper(): 15 html = requests.get(url, headers = headers).content 16 s = BeautifulSoup(html, 'lxml') 17 18 #要爬取的信息在页面解析后的注释内，获取注释内容，结果返回所有注释列表 19 comments = s.find_all(text=lambda text:isinstance(text, Comment)) 20 21 #论文信息为comments[2]，再次使用beautifulsoup解析 22 soup = BeautifulSoup(comments[2], 'lxml') 23 24 titles = soup.find_all("div", class_ = "title")#由于class是关键字所以加一个'_' 25 details = soup.find_all("div", class_ = "details") 26 27 return titles, details 28 29 titles, details = find_paper() 30 31 def download_paper(): 32 if not os.path.exists('IJCAI_2018') : #文件夹不存在时，再进行创建 33 os.mkdir('IJCAI_2018') 34 os.chdir(os.path.join(os.getcwd(), 'IJCAI_2018'))#os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略,os.getcwd()获取当前工作目录，即当前python脚本工作的目录路径,os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd 35 36 num = len(titles) 37 print('论文总数：', num) 38 39 for i in range(num): 40 detail = details[i] 41 42 fname = detail.contents[1].get('href')#论文下载名 43 deatil_url = url + fname#论文下载地址 44 45 print(deatil_url) 46 r = requests.get(deatil_url) 47 48 with open(fname, 'wb') as f: 49 f.write(r.content) 50 51 print('已下载：', titles[i].string) 52 f.close() 53 54 if __name__ == '__main__': 55 download_paper()
4、运行结果
2018年总共870篇结果如下：
