selenium + phantomJs

这篇文章应该写在scrapy框架之前，在此作为补充

问题：如何对动态加载的页面数据进行爬取？

解决方式有两个：

1.selenium

2.phantomJs

selenium

简介：三方库，可以实现让浏览器完成自动化的操作。

环境搭建

• 安装：pip install selenium
• 获取浏览器驱动程序　　  下载地址http://chromedriver.storage.googleapis.com/index.html 

注意：浏览器版本和驱动版本的对应关系表： https://blog.csdn.net/huilan_same/article/details/51896672

如果谷歌浏览器版本比较高，那驱动也选择高版本，多数情况下没有问题

元素定位

    #使用下面的方法，查找指定的元素进行操作即可
    find_element_by_id            根据id找节点
    find_elements_by_name         根据name找
    find_elements_by_xpath        根据xpath查找
    find_elements_by_tag_name     根据标签名找
    find_elements_by_class_name   根据class名字查找

示例

#编码流程:
from selenium import webdriver
from time import sleep
#创建一个浏览器对象executable_path驱动的路径
bro = webdriver.Chrome(executable_path='./chromedriver')
#get方法可以指定一个url，让浏览器进行请求
bro.get('https://www.baidu.com')
sleep(1)
#让百度进行指定词条的一个搜索
text = bro.find_element_by_id('kw')#定位到了text文本框
text.send_keys('人民币') #send_keys表示向文本框中录入指定内容
sleep(1)
button = bro.find_element_by_id('su')
button.click()#click表示的是点击操作
sleep(3)
bro.quit()#关闭浏览器

执行javascript

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

 

phantomJs

phantomJs是无界面浏览器，其操作流程和上述谷歌一样。

from selenium import webdriver

bro = webdriver.PhantomJS(executable_path='/Users/bobo/Desktop/路飞爬虫授课/动态数据加载爬取/phantomjs-2.1.1-macosx/bin/phantomjs')

#打开浏览器
bro.get('https://www.baidu.com')

#截屏
bro.save_screenshot('./1.png')

text = bro.find_element_by_id('kw')#定位到了text文本框
text.send_keys('人民币') #send_keys表示向文本框中录入指定内容

bro.save_screenshot('./2.png')

bro.quit()

综合案例

使用selenium+phantomJs处理页面动态加载数据的爬取

• 需求：获取豆瓣电影中动态加载出更多电影详情数据

from selenium import webdriver
from time import sleep
bro = webdriver.PhantomJS(executable_path='/Users/bobo/Desktop/路飞爬虫授课/动态数据加载爬取/phantomjs-2.1.1-macosx/bin/phantomjs')
url = 'https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action='
bro.get(url)
sleep(1)
#截屏
bro.save_screenshot('./1.png')
#编写js代码：让页面中的滚轮向下滑动（底部）
js = 'window.scrollTo(0,document.body.scrollHeight)'
#如何让浏览器对象执行js代码
bro.execute_script(js)
sleep(1)
#截屏
bro.save_screenshot('./2.png')


bro.execute_script(js)
bro.save_screenshot('./3.png')
#获取加载数据后的页面:page_sourse获取浏览器当前的页面数据
page_text = bro.page_source

print(page_text)