(五)selenuim和phantonJs处理网页动态加载数据的爬取
selenuim和phantonJs处理网页动态加载数据的爬取#
一 图片懒加载#
- 自己理解------就是在打开一个页面的时候,图片数量特别多,图片加载会增加服务器的压力,所以我们在这个时候,就会用到---懒加载,,网页解析是从上往下的。在解析的过程里,如果遇见资源了,浏览器会再次请求的。但是一个网页可能存在很多请求的资源。
- 图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的技术就被称为“图片懒加载”
-
网站一般如何实现图片懒加载技术呢?
-
在网页源码中,在img标签中首先会使用一个“伪属性”(通常使用src2,original......)去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中,会动态将伪属性替换成src属性,完成图片的加载。
-
''' 站长素材为例 http://sc.chinaz.com/ 下载里面的高清图片 ''' import requests from lxml import etree headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36' } url = 'http://sc.chinaz.com/tupian/eluosi.html' page_text = requests.get(url=url, headers=headers).text tree = etree.HTML(page_text) div_list = tree.xpath('//div[@id="container"]/div') for div in div_list: img_url = div.xpath('./div/a/img/@src2')[0] # ./div/a/img/@src # print(img_url) #打印的是空值,因为在爬虫时没有拿到真正的url,我们需要将src改成src2就可以了 pic = requests.get(url=img_url,headers=headers).content print(pic) imgName = img_url.split('/')[-1] filePath = './pic/' + imgName with open(filePath,'wb') as f: f.write(pic)
二.selenium#
1 什么是selenium
selenium是python中对外提供的接口可以操作浏览器,然后让浏览器完成自动化的操作.
2 环境搭建
安装 pip install selenium
获取某一款浏览器的驱动程序(以谷歌浏览器为例)
-
谷歌浏览器驱动下载地址:
http://chromedriver.storage.googleapis.com/index.html
-
下载的驱动程序必须和浏览器的版本统一,大家可以根据
http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应
import time from selenium import webdriver b = webdriver.Chrome(executable_path=r'D:\爬虫\part_one\驱动\chromedriver\chromedriver.exe') # 上面下载的驱动 time.sleep(4) url = 'http://www.baidu.com' b.get(url=url) myText = b.find_element_by_id('kw') # 找到百度的input框 输入 '美女' myText.send_keys('美女') myButton = b.find_element_by_id('su') # 找到百度的按钮 myButton.click() time.sleep(5) b.quit()
三.phantomJs#
PhantomJS是一款无界面的浏览器,其自动化操作流程和上述操作谷歌浏览器是一致的。由于是无界面的,为了能够展示自动化操作流程,PhantomJS为用户提供了一个截屏的功能,使用save_screenshot函数实现
import time from selenium import webdriver
# PhantomJS b = webdriver.PhantomJS(executable_path=r'C:\Users\xxxxxx\Desktop\课上代码\part_one\4.selenium&phantomjs\
phantomjs-2.1.1-windows\bin\phantomjs.exe') time.sleep(4) url = 'http://www.baidu.com' b.get(url=url) b.save_screenshot('./1.png') # 加一个截图 myText = b.find_element_by_id('kw') myText.send_keys('美女') b.save_screenshot('./2.png') # 加一个截图 myButton = b.find_element_by_id('su') myButton.click() b.save_screenshot('./3.png') # 加一个截图 time.sleep(5) b.quit()
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 25岁的心里话
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现