一键爬取，多种网页模板任你选！

:点击上方[Python爬虫数据分析挖掘]→右上角[...]→[设为星标⭐]

文章目录

1、网页查看
2、网页爬取数据分析
3、代码分析
4、图片辅助分析
5、运行结果

1、网页查看

进入网页模板

多页爬取

2、网页爬取数据分析

3.代码分析

数据爬取部分

# 使用etree进行数据解析
tree = etree.HTML(page_text)


#参考图1，使用xpath语法根据id定位，定位后拿到下面的所有div标签下的a标签的href属性
#所有详情页url
a_list = tree.xpath("//div[@id='container']//div/a/@href")
#遍历详情页url
for a_li in a_list:
    # 发起详情页请求
    moban_data = requests.get(url=a_li, headers=headers)
    moban_data.encoding = "utf-8"


  #解析网页
    tree2 = etree.HTML(moban_data.text)
    #下载的url，参考图2
    rar_down = tree2.xpath("//div[@class='downbody']//div[@class='dian'][2]/a[1]/@href")
    #网页模板名称，参考图3
    rar_name = tree2.xpath("//div[@class='text_wrap']/h2/a/text()")[0]
    
    #rar_down是一个列表
    DownRar(rar_down[0], rar_name)

多页爬取部分

#多页爬取
for i in range(1,11):
   #如果是第一页
     if i == 1:
         url = "http://sc.chinaz.com/moban/index.html"
     #不是第一页
     else:
         url = "http://sc.chinaz.com/moban/index_" + str(i) + ".html"

4.图片辅助分析

图1