如何用python脚本采集某网图片

一、前言：

　　今天学了两个工具urlopen  和etree，这两个小工具至关重要。urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（authenticaton）、重定向（redirection)、浏览器Cookies以及其他内容，etree.HTML()可以用来解析字符串格式的HTML文档对象，将传进去的字符串转变成_Element对象。作为_Element对象，可以方便的使用getparent()、remove()、xpath()等方法。

　　如果想通过xpath获取html源码中的内容，就要先将html源码转换成_Element对象，然后再使用xpath()方法进行解析。

二、需求描述：

　　采集一个网站的枪的图片文件。

三、逻辑分析：

　　1.获取目标网址，并且用代码获取对应的HTML文件；
　　2.在HTML中筛选需要的资源内容，比如图片：img（也可以是文字，视频，音频等）
　　3.下载保存该资源

四、完整代码

from urllib.request import urlopen
from lxml import etree
html文件=urlopen('https://*&*&*（）……&*……&*……*&……*&')
html文件中的内容=html文件.read().decode('GBK')
标准化后的img标签=etree.HTML(html文件中的内容)
print(标准化后的img标签)
符合要求的img标签=标准化后的img标签.xpath('//div[@id="section-container"]/ul/li/a/img')
#可以考虑获取 p标签的内容，也就是枪的名称
# print(符合要求的img标签)
for 一个img标签 in 符合要求的img标签:
    src的值=一个img标签.get('src')
    print(src的值)
    #1. 用加密的字符串作为名称
    图片的名字=src的值.split('/')[-1]
    #2. 用实际名称标签p作为名称
    # 图片的名字=
    图片网页文件=urlopen('https:'+src的值)
    图片=图片网页文件.read()
    with open('imgg/'+图片的名字,mode='wb') as f:
        f.write(图片)
        print('下载完毕')