python 抓取页面数据返回 “请打开浏览器的javascript，然后刷新浏览器 ”

之前用的python抓取页面数据用的是：

url = "http://xxxxxx"
res_text = json.loads(urllib2.urlopen(urllib2.Request(server_url_text)).read())
print('res_text')

 

后来再调用 看页面返回的是 “请打开浏览器的javascript，然后刷新浏览器 ”，查看后是加了cookie，cookie加进去后，返回正常

url = "http://xxxxxx"
headers = {'User-Agent': xxx", 'Cookie':xxx",}
res_text = json.loads(urllib2.urlopen(urllib2.Request(server_url_text,headers=headers)).read())
print('res_text')

 

 

但是 cookie经常变，于是换了种方式，使用webdriver获取页面数据

from selenium import webdriver
import time,json

driver = webdriver.Chrome()
driver.get('xxxx')
time.sleep(7)
res = driver.find_element_by_xpath('xxxxxx')
s = json.loads(res.text)
driver.close()

print(s,type(s))

注意：如上方法使用的是谷歌浏览器，需要提前安装 谷歌浏览器和对应的驱动  chromedriver；也可使用其他浏览器