selenium实战

当有些网页是用js生成的，用requests获取到的网页里面啥都没有怎么办呢。这个时候最简单的方法就是用selenium模拟页面渲染，当页面渲染完成之后再去根据标签或者xpath就可以获取到自己想要的东西了。
这里只讲实战，关于粉笔答题页面的学习。本来无聊的时候想写个脚本，不用打开网页在命令行里答题，这里记录一下，ps，最后没有成功，所以本文以selenium使用为主

遇到的坑

前排记录下使用selenium时遇到的坑

• 关闭chrome的自动更新，不然chromedriver的版本跟不上
• add_experimental_option('w3c', True)，为false时有些element会返回dict类型
• cookie中"sameSite"为"unspecified"的时候，直接删掉这个选项
• 需要等js渲染完成之后去获取element，不然会为空。driver.implicitly_wait(5)和WebDriverWait两种方法
• ActionChains(driver).move_to_element(label).click().perform() 需要页面可见

实战开始

等待页面渲染完成

以粉笔为例，查看他的网页源代码如下：

可以看到，html中是无法获取到自己想要的内容的，但是右键检查是可以看到内容的。此时我们就需要等页面渲染完成。
最简单的方法就是加个sleep，停个五六秒，但是这样很慢。这个时候就有了上面提到的driver.implicitly_wait(5)和WebDriverWait两种方法，想要深入了解的可以去搜一下隐形等待和显性等待。等待页面渲染完成之后就可以获取到element了。

登陆问题

以粉笔网页为例，你会发现自己在chrome中打开是不需要登陆的，但是用selenium打开页面却是登陆页面了。
有两种解决方案，一种是老老实实的在页面中填入对应元素。但是有人机验证的问题，有些图形验证码不是很好点。另一种就是用cookie登陆，现在网页里登陆，然后导出cookie，给driver添加cookie，然后再打开想要打开的页面，你会发现不会跳转登陆页面了。代码如下

driver.add_cookie(item)

获取子节点

利用获取到的element，可以看到有个find_element，可以利用它获取到子节点。那遇到ul里一堆li都需要的情况呢，只需要调用find_elements即可，返回的是符合条件的element数组。比方说可以利用一下代码，获取question这个element下面的article标签。

article = question.find_element(By.TAG_NAME,'article')

使用下面的代码可以获取该节点下所有element

answers = answers.find_elements(By.XPATH,"*")

代码环节

贴一下我这次的代码，也方便理解。我想要通过在命令行的输入，完成对粉笔题库的答题，结果在点击答案时遇到了问题。当被点击的选项没显示的时候，执行click会报错，让选项直接划到页面的时候也会，还存在各种问题，尝试多次无果，遂放弃。

from ctypes import pointer
from lib2to3.pgen2 import driver
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.support.wait import WebDriverWait#引入 WebDriverWait对象
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
import time
import requests
import json
import re

def getUrl():
    global driver
    d = DesiredCapabilities.CHROME
    d['loggingPrefs'] = { 'performance':'ALL' }
    
    chrome_options = Options()
    # 解决方法
    chrome_options.add_experimental_option('w3c', False)
    
    driver = webdriver.Chrome(desired_capabilities=d, options=chrome_options)
    #主页链接
    homePageUrl = "https://spa.fenbi.com/tiku/guide/catalog/xingce?prefix=xingce"
    
    driver.implicitly_wait(5)

    driver.get(homePageUrl)    #加载cookie
    cookies = [
    ]
    for item in cookies:
        driver.add_cookie(item)
        
    driver.get(homePageUrl)
    keyPointTreeXpath = '//*[@id="calalog-page"]/main/div[1]/div[2]/app-keypoint-catalog/div/div[2]/ul'
    keyPointTree = driver.find_element(By.XPATH,keyPointTreeXpath)
    print(type(keyPointTree))
    # 获取子节点
    keyPoints = keyPointTree.find_elements(By.XPATH,'*')
    for keyPoint in keyPoints:
        print(keyPoint.text)
    choose = input()
    choosePoint = keyPoints[int(choose)]
    choosePoint.click()
    pointTree = choosePoint.find_elements(By.XPATH,'*')
    points = pointTree[1].find_elements(By.XPATH,'*')
    for point in points:
        detailText = point.find_elements(By.TAG_NAME,'p')
        print(detailText[0].text,detailText[1].text)
    choose = input()
    divs = points[int(choose)].find_elements(By.TAG_NAME,'div')
    divs[1].click()
    wait = WebDriverWait(driver,10)
    allQuestionsXpath = '//*[@id="app-practice"]/main/section'
    
    allQuestions = wait.until(EC.presence_of_element_located((By.XPATH,allQuestionsXpath)))
    questions = allQuestions.find_elements(By.XPATH,'*')
    for question in questions:
        article = question.find_element(By.TAG_NAME,'article')
        print(article.text)
        answers = question.find_element(By.TAG_NAME,'ul')
        answers = answers.find_elements(By.XPATH,"*")
        for answer in answers:
            print(answer.text)
        choose = input()
        label = answers[int(choose)].find_element(By.TAG_NAME,'p')
        driver.execute_script("arguments[0].scrollIntoView();", label)
        label.click()
    # print(type(label))
    # element = driver.find_element()
    
    # # label = driver.find_element(By.XPATH,xpath) 1


    # request_log = driver.get_log('performance')
    # for log in request_log:
    #     msg = json.loads(log['message'])
    #     request = msg['message']['params'].get('request')
    #     if(request is None):
    #         continue
    #     url = request.get('url')
    #     questionUrl = 'https://tiku.fenbi.com/api/xingce/questions'
    #     if(questionUrl in url):
    #         print(url)
    #         driver.get(url)
    #         source = etree.HTML(driver.page_source)
    #         test = source.xpath('/html/body/pre/text()')[0]
    #         print('========================================')
    #         2
    #         data = json.loads(test)
    #         for item in data:
    #             str = item['content']
    #             str = str.replace('<u>','')
    #             str = str.replace('</u>','')
    #             str = str.replace('<p>','')
    #             str = str.replace('</p>','')
    #             str = str.replace(' ','')
    #             print(str)
    #             answer = item['accessories']
    #             options = answer[0]['options']
    #             index = 0
    #             for option in options:
    #                 print(index,"."+option)
    #                 index += 1
    #             x = input()
    #             correctAnswer = item['correctAnswer']
    #             if(x==correctAnswer['choice']):
    #                 print("right!")
    #             else:
    #                 print("false!正确答案是：",correctAnswer['choice'])

if '_main_':
    getUrl()

如果想看看效果，填入自己的cookie即可。

直接获取数据

当我想模拟页面点击失效后，我就换了个思路，直接去获取页面加载的接口。
使用如下方法获取到所有接口，然后根据自己观察，找到匹配的接口。直接打开接口页面获取数据。

 driver.get_log('performance')

不过我观察了下粉笔的网站，原本有数据那个接口，现在返回为空，具体原因不清楚了。
ps，要调用上面的方法，上面说的w3c属性要改成false。