Python爬虫入门：爬取pixiv
终于想开始爬自己想爬的网站了。于是就试着爬P站试试手。
我爬的图的目标网址是： http://www.pixiv.net/search.php?word=%E5%9B%9B%E6%9C%88%E3%81%AF%E5%90%9B%E3%81%AE%E5%98%98，目标是将每一页的图片都爬下来。
一开始以为不用登陆，就直接去爬图片了。
后来发现是需要登录的，但是不会只好去学模拟登陆。
这里是登陆网站 https://accounts.pixiv.net/login?lang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index 的headers，
然后还要去获取我们登陆时候需要的data。点住上面的presevelog，找到登陆的网址，点开查看Form Data就可以知道我们post的时候的data需要什么了。这里可以看到有个postkey，多试几次可以发现这个是变化的，即我们要去捕获它，而不能直接输入。
于是退回到登陆界面，F12查看源码，发现有一个postkey，那么我们就可以写一个东西去捕获它，然后把它放到我们post的data里面。
这里给出登陆界面需要的代码：
1 def __init__(self): 2 self.base_url = 'https://accounts.pixiv.net/login?lang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index' 3 self.login_url = 'https://accounts.pixiv.net/api/login?lang=zh' 4 self.target_url = 'http://www.pixiv.net/search.php?' \ 5 'word=%E5%9B%9B%E6%9C%88%E3%81%AF%E5%90%9B%E3%81%AE%E5%98%98&order=date_d&p=' 6 self.main_url = 'http://www.pixiv.net' 7 # headers只要这两个就可以了,之前加了太多其他的反而爬不上 8 self.headers = { 9 'Referer': 'https://accounts.pixiv.net/login?lang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index', 10 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) ' 11 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36' 12 } 13 self.pixiv_id = 'userid' 14 self.password = '*****' 15 self.post_key = [] 16 self.return_to = 'http://www.pixiv.net/' 17 self.load_path = 'D:\psdcode\Python\pixiv_pic' 18 self.ip_list = [] 19 20 def login(self): 21 post_key_html = se.get(self.base_url, headers=self.headers).text 22 post_key_soup = BeautifulSoup(post_key_html, 'lxml') 23 self.post_key = post_key_soup.find('input')['value'] 24 # 上面是去捕获postkey 25 data = { 26 'pixiv_id': self.pixiv_id, 27 'password': self.password, 28 'return_to': self.return_to, 29 'post_key': self.post_key 30 } 31 se.post(self.login_url, data=data, headers=self.headers)
愉快地解决完登陆问题之后，就可以开始爬图片啦。
进入target_url：上面的目标网址。
点击目标的位置
点开ul这个标签，发现图片全部都是在<li class="image-item">这里面的，因为我们要爬大一点的图（爬个小图有什么用啊！），所以还要进入一层第一个链接的网址去获取大图，我们可以发现我们只要在main_url（(http://www.pixiv.net)），再加上第一个href，就可以跑到图片所在的网址了，于是我们先跳转到图片网址看看怎么提取图片。
发现图片就躺在这里了，而且连标题都有，直接方便了我们存图的名字了。于是我们就可以直接去提取图片了。
注意我们在请求获取图片的时候要加一个referer，否则会403的。referer的找法就和上面一样。
1 def get_img(self, html, page_num): 2 li_soup = BeautifulSoup(html, 'lxml') # 传入第page_num页的html 3 li_list = li_soup.find_all('li', attrs={'class', 'image-item'}) # 找到li所在位置 4 # print('get_list succeed') 5 # print(li_list) 6 for li in li_list: 7 href = li.find('a')['href'] # 直接提取第一个href 8 # print('get_href succeed') 9 # print(href) 10 jump_to_url = self.main_url + href # 跳转到目标的url 11 # print('get_jump_to_url succeed') 12 jump_to_html = self.get_html(jump_to_url, 3).text # 获取图片的html 13 # print('get_jump_to_html succeed') 14 15 img_soup = BeautifulSoup(jump_to_html, 'lxml') 16 img_info = img_soup.find('div', attrs={'class', 'works_display'})\ 17 .find('div', attrs={'class', '_layout-thumbnail ui-modal-trigger'}) 18 # 找到目标位置的信息 19 if img_info is None: # 有些找不到url,如果不continue会报错 20 continue 21 self.download_img(img_info, jump_to_url, page_num) # 去下载这个图片 22 23 def download_img(self, img_info, href, page_num): 24 title = img_info.find('img')['alt'] # 提取标题 25 src = img_info.find('img')['src'] # 提取图片位置 26 src_headers = self.headers 27 src_headers['Referer'] = href # 增加一个referer,否则会403,referer就像上面登陆一样找 28 try: 29 html = requests.get(src, headers=src_headers) 30 img = html.content 31 except: # 有时候会发生错误导致不能获取图片.直接跳过这张图吧 32 print('获取该图片失败') 33 return False
接下来轮到下载图片了。这个之前还不怎么会，临时学了一下。
首先是创建文件夹，我这里是每一页就开一个文件夹。
1 def mkdir(self, path): 2 path = path.strip() 3 is_exist = os.path.exists(os.path.join(self.load_path, path)) 4 if not is_exist: 5 print('创建一个名字为 ' + path + ' 的文件夹') 6 os.makedirs(os.path.join(self.load_path, path)) 7 os.chdir(os.path.join(self.load_path, path)) 8 return True 9 else: 10 print('名字为 ' + path + ' 的文件夹已经存在') 11 os.chdir(os.path.join(self.load_path, path)) 12 return False
1 def download_img(self, img_info, href, page_num): 2 title = img_info.find('img')['alt'] # 提取标题 3 src = img_info.find('img')['src'] # 提取图片位置 4 src_headers = self.headers 5 src_headers['Referer'] = href # 增加一个referer,否则会403,referer就像上面登陆一样找 6 try: 7 html = requests.get(src, headers=src_headers) 8 img = html.content 9 except: # 有时候会发生错误导致不能获取图片.直接跳过这张图吧 10 print('获取该图片失败') 11 return False 12 13 title = title.replace('?', '_').replace('/', '_').replace('\\', '_').replace('*', '_').replace('|', '_')\ 14 .replace('>', '_').replace('<', '_').replace(':', '_').replace('"', '_').strip() 15 # 去掉那些不能在文件名里面的.记得加上strip()去掉换行 16 17 if os.path.exists(os.path.join(self.load_path, str(page_num), title + '.jpg')): 18 for i in range(1, 100): 19 if not os.path.exists(os.path.join(self.load_path, str(page_num), title + str(i) + '.jpg')): 20 title = title + str(i) 21 break 22 # 如果重名了,就加上一个数字 23 print('正在保存名字为: ' + title + ' 的图片') 24 with open(title + '.jpg', 'ab') as f: 25 f.write(img) 26 print('保存该图片完毕')
这样我们的大体工作就做完了。剩下的是写一个work函数让它开始跑。
1 def work(self): 2 self.login() 3 for page_num in range(1, 51): # 太多页了,只跑50页 4 path = str(page_num) # 每一页就开一个文件夹 5 self.mkdir(path) # 创建文件夹 6 # print(self.target_url + str(page_num)) 7 now_html = self.get_html(self.target_url + str(page_num), 3) # 获取页码 8 self.get_img(now_html.text, page_num) # 获取图片 9 print('第 {page} 页保存完毕'.format(page=page_num)) 10 time.sleep(2) # 防止太快被反
启动！
大概跑了10页之后，会弹出一大堆信息什么requests不行怎么的。问了下别人应该是被反爬了。
于是去搜了一下资料，http://cuiqingcai.com/3256.html，照着他那样写了使用代理的东西。（基本所有东西都在这学的）。
于是第一个小爬虫就好了。不过代理的东西还没怎么懂，到时候看看，50页爬了两个多钟。
对了。可能网站的源代码会有改动的。因为我吃完饭后用吃饭前的代码继续工作的时候出错了，然后要仔细观察重新干。
1 # -*- coding:utf-8 -*- 2 import requests 3 from bs4 import BeautifulSoup 4 import os 5 import time 6 import re 7 import random 8 9 se = requests.session() 10 11 12 class Pixiv(): 13 14 def __init__(self): 15 self.base_url = 'https://accounts.pixiv.net/login?lang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index' 16 self.login_url = 'https://accounts.pixiv.net/api/login?lang=zh' 17 self.target_url = 'http://www.pixiv.net/search.php?' \ 18 'word=%E5%9B%9B%E6%9C%88%E3%81%AF%E5%90%9B%E3%81%AE%E5%98%98&order=date_d&p=' 19 self.main_url = 'http://www.pixiv.net' 20 # headers只要这两个就可以了,之前加了太多其他的反而爬不上 21 self.headers = { 22 'Referer': 'https://accounts.pixiv.net/login?lang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index', 23 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) ' 24 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36' 25 } 26 self.pixiv_id = 'userid' 27 self.password = '*****' 28 self.post_key = [] 29 self.return_to = 'http://www.pixiv.net/' 30 self.load_path = 'D:\psdcode\Python\pixiv_pic' 31 self.ip_list = [] 32 33 def login(self): 34 post_key_html = se.get(self.base_url, headers=self.headers).text 35 post_key_soup = BeautifulSoup(post_key_html, 'lxml') 36 self.post_key = post_key_soup.find('input')['value'] 37 # 上面是去捕获postkey 38 data = { 39 'pixiv_id': self.pixiv_id, 40 'password': self.password, 41 'return_to': self.return_to, 42 'post_key': self.post_key 43 } 44 se.post(self.login_url, data=data, headers=self.headers) 45 46 def get_proxy(self): 47 html = requests.get('http://haoip.cc/tiqu.htm') 48 ip_list_temp = re.findall(r'r/>(.*?)<b', html.text, re.S) 49 for ip in ip_list_temp: 50 i = re.sub('\n', '', ip) 51 self.ip_list.append(i.strip()) 52 print(i.strip()) 53 54 ''' 会被反爬,改成使用代理 55 def get_tml(self, url): 56 response = se.get(url, headers=self.headers) 57 return response 58 ''' 59 def get_html(self, url, timeout, proxy=None, num_entries=5): 60 if proxy is None: 61 try: 62 return se.get(url, headers=self.headers, timeout=timeout) 63 except: 64 if num_entries > 0: 65 print('获取网页出错,5秒后将会重新获取倒数第', num_entries, '次') 66 time.sleep(5) 67 return self.get_html(url, timeout, num_entries = num_entries - 1) 68 else: 69 print('开始使用代理') 70 time.sleep(5) 71 ip = ''.join(str(random.choice(self.ip_list))).strip() 72 now_proxy = {'http': ip} 73 return self.get_html(url, timeout, proxy = now_proxy) 74 else: 75 try: 76 return se.get(url, headers=self.headers, proxies=proxy, timeout=timeout) 77 except: 78 if num_entries > 0: 79 print('正在更换代理,5秒后将会重新获取第', num_entries, '次') 80 time.sleep(5) 81 ip = ''.join(str(random.choice(self.ip_list))).strip() 82 now_proxy = {'http': ip} 83 return self.get_html(url, timeout, proxy = now_proxy, num_entries = num_entries - 1) 84 else: 85 print('使用代理失败,取消使用代理') 86 return self.get_html(url, timeout) 87 88 def get_img(self, html, page_num): 89 li_soup = BeautifulSoup(html, 'lxml') # 传入第page_num页的html 90 li_list = li_soup.find_all('li', attrs={'class', 'image-item'}) # 找到li所在位置 91 # print('get_list succeed') 92 # print(li_list) 93 for li in li_list: 94 href = li.find('a')['href'] # 直接提取第一个href 95 # print('get_href succeed') 96 # print(href) 97 jump_to_url = self.main_url + href # 跳转到目标的url 98 # print('get_jump_to_url succeed') 99 jump_to_html = self.get_html(jump_to_url, 3).text # 获取图片的html 100 # print('get_jump_to_html succeed') 101 102 img_soup = BeautifulSoup(jump_to_html, 'lxml') 103 img_info = img_soup.find('div', attrs={'class', 'works_display'})\ 104 .find('div', attrs={'class', '_layout-thumbnail ui-modal-trigger'}) 105 # 找到目标位置的信息 106 if img_info is None: # 有些找不到url,如果不continue会报错 107 continue 108 self.download_img(img_info, jump_to_url, page_num) # 去下载这个图片 109 110 def download_img(self, img_info, href, page_num): 111 title = img_info.find('img')['alt'] # 提取标题 112 src = img_info.find('img')['src'] # 提取图片位置 113 src_headers = self.headers 114 src_headers['Referer'] = href # 增加一个referer,否则会403,referer就像上面登陆一样找 115 try: 116 html = requests.get(src, headers=src_headers) 117 img = html.content 118 except: # 有时候会发生错误导致不能获取图片.直接跳过这张图吧 119 print('获取该图片失败') 120 return False 121 122 title = title.replace('?', '_').replace('/', '_').replace('\\', '_').replace('*', '_').replace('|', '_')\ 123 .replace('>', '_').replace('<', '_').replace(':', '_').replace('"', '_').strip() 124 # 去掉那些不能在文件名里面的.记得加上strip()去掉换行 125 126 if os.path.exists(os.path.join(self.load_path, str(page_num), title + '.jpg')): 127 for i in range(1, 100): 128 if not os.path.exists(os.path.join(self.load_path, str(page_num), title + str(i) + '.jpg')): 129 title = title + str(i) 130 break 131 # 如果重名了,就加上一个数字 132 print('正在保存名字为: ' + title + ' 的图片') 133 with open(title + '.jpg', 'ab') as f: # 图片要用b 134 f.write(img) 135 print('保存该图片完毕') 136 137 def mkdir(self, path): 138 path = path.strip() 139 is_exist = os.path.exists(os.path.join(self.load_path, path)) 140 if not is_exist: 141 print('创建一个名字为 ' + path + ' 的文件夹') 142 os.makedirs(os.path.join(self.load_path, path)) 143 os.chdir(os.path.join(self.load_path, path)) 144 return True 145 else: 146 print('名字为 ' + path + ' 的文件夹已经存在') 147 os.chdir(os.path.join(self.load_path, path)) 148 return False 149 150 def work(self): 151 self.login() 152 for page_num in range(1, 51): # 太多页了,只跑50页 153 path = str(page_num) # 每一页就开一个文件夹 154 self.mkdir(path) # 创建文件夹 155 # print(self.target_url + str(page_num)) 156 now_html = self.get_html(self.target_url + str(page_num), 3) # 获取页码 157 self.get_img(now_html.text, page_num) # 获取图片 158 print('第 {page} 页保存完毕'.format(page=page_num)) 159 time.sleep(2) # 防止太快被反 160 161 162 pixiv = Pixiv() 163 pixiv.work()
