爬取彼岸图网实例
本案例适用于爬取彼岸图网4k壁纸10页（如下图
当然有个问题，如果爬取此页的图片会发现爬下来的图片是不清晰的，所以我们得爬取详情页得图片（如下图
开始分析：
1、第一页地址：http://pic.netbian.com/4kyouxi/
第二页地址：http://pic.netbian.com/4kyouxi/index_2.html
第三页地址：http://pic.netbian.com/4kyouxi/index_3.html
一对比会发现第一页与其他页地址不同，得分支处理
2、进入详情页链接，找网页源码
分析完成就可以进行编写代码了
分支处理页面地址不同
1 if __name__ == '__main__': 2 for i in range(2,20): 3 if i == 0: 4 index_base_url = 'http://pic.netbian.com/4kyouxi/index.html' 5 else: 6 index_base_url = 'http://pic.netbian.com/4kdongman/index_%s.html' 7 main(index_base_url %i)
请求网页地址（定义一个函数用于发送请求地址）
def get_html(url): res = requests.get(url) res.encoding = res.apparent_encoding return res
解析请求得页面（定义一个用于解析页面得函数）
def html_parses(text): tree = etree.HTML(text) return tree
请求详情页面（定义一个用于请求详情页得函数）
def get_img_url(url): #调用请求函数 response = get_html(url) #调用解析函数 tree = html_parses(response.text) #xpath获取图片路径 img_url = tree.xpath('//*[@id="img"]/img/@src')[0] #xpath获取图片得名字 img_name =tree.xpath('//*[@id="img"]/img/@title')[0] #调用保存函数 save(img_name,'http://pic.netbian.com'+img_url)
爬取保存至本地（定义一个用于保存得函数）
def save(name,img_url): resonse = get_html(img_url) with open('./彼岸图网/%s.jpg'%name,'wb') as f: f.write(resonse.content)
主函数
def main(url): #请求地址 response = get_html(url) #解析页面 tree = html_parses(response.text) #xpath获取图片地址 detail_urls = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href') for i in detail_urls: #构建完整地址 get_img_url('http://pic.netbian.com' +i)
下面是完整得代码
1 import requests 2 from lxml.html import etree 3 def get_html(url): 4 res = requests.get(url) 5 res.encoding = res.apparent_encoding 6 return res 7 8 def html_parses(text): 9 tree = etree.HTML(text) 10 return tree 11 12 def main(url): 13 #请求地址 14 response = get_html(url) 15 #解析页面 16 tree = html_parses(response.text) 17 #xpath获取图片地址 18 detail_urls = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href') 19 for i in detail_urls: 20 #构建完整地址 21 get_img_url('http://pic.netbian.com' +i) 22 def get_img_url(url): 23 #调用请求函数 24 response = get_html(url) 25 #调用解析函数 26 tree = html_parses(response.text) 27 #xpath获取图片路径 28 img_url = tree.xpath('//*[@id="img"]/img/@src')[0] 29 #xpath获取图片得名字 30 img_name =tree.xpath('//*[@id="img"]/img/@title')[0] 31 #调用保存函数 32 save(img_name,'http://pic.netbian.com'+img_url) 33 34 def save(name,img_url): 35 resonse = get_html(img_url) 36 with open('./彼岸图网/'+name+'.jpg','wb') as f: 37 f.write(resonse.content) 38 if __name__ == '__main__': 39 for i in range(2,20): 40 if i == 0: 41 index_base_url = 'http://pic.netbian.com/4kyouxi/index.html' 42 else: 43 index_base_url = 'http://pic.netbian.com/4kdongman/index_%s.html' 44 main(index_base_url %i)
