python爬虫使用requests请求无法获取网页元素时终极解决方案

    爬取数据时,有时候会出现无法通过正常的requests请求获取网页内容,导致数据无法抓取到,遇到这种情况时,可以换种思路去爬取数据,使用PhantomJS,即爬虫终极解决方案去获取页面元素。

 

#!/usr/local/bin/python3.7

from selenium import webdriver
import time

# phantomJS路径
path = '/Users/mozili/Documents/PhantomJS/phantomjs-2.1.1-macosx/bin/phantomjs'
# 创建浏览器对象
browser = webdriver.PhantomJS(path)

# 打开百度并操作
url = 'https://www.baidu.com'
browser.get(url)
time.sleep(1)
# 截图
browser.save_screenshot('Reptile/phantomjs_img/baidu.png')
# 定位搜索框
search = browser.find_element_by_id('kw')
time.sleep(1)
# 在搜索框输入内容
search.send_keys('美女')
time.sleep(1)
# 截图
browser.save_screenshot('Reptile/phantomjs_img/meinv.png')
# 关闭浏览器
browser.quit()

 

posted @ 2020-06-14 19:28  梅梅不想踩坑  阅读(7307)  评论(0编辑  收藏  举报