python 截取网页内容

from selenium import webdriver # 从selenium库中调用webdriver模块
import time # 调用time模块
driver = webdriver.Chrome()# 设置引擎为Chrome,真实地打开一个Chrome浏览器
#driver.maximize_window()# 窗口最大化


def login():
     # 打开登录页面
    driver.get('http://xxxx/')   
    time.sleep(1)
    # 输入用户名
    driver.find_element_by_xpath('//*[@id="account-name"]/input').send_keys('xx')  
    # 输入密码
    driver.find_element_by_xpath('//*[@id="account-password"]/input').send_keys('xx')  
    # 点击登录
    driver.find_element_by_xpath('//*[@id="account-login-button"]').click()


def click():
    # 单击云资源
    driver.get('xxxx')
    time.sleep(3)
    # 每页显示100条
    driver.find_element_by_xpath('//*[@id="app"]/div/div/div[2]/div[2]/div[2]/div[1]/div/div[5]/span[1]').click()
    driver.find_element_by_xpath('//*[@id="app"]/div/div/div[2]/div[2]/div[2]/div[1]/div/div[5]/span[1]/div/a[4]').click()
    time.sleep(3)
   
    # 取条目数量
    num = driver.find_elements_by_xpath('//*[@id="app"]/div/div/div[2]/div[2]/div[2]/div[2]/div[2]/div[1]/div/div')
    num = len(num)

    js = 'var action=document.documentElement.scrollTop=10000'
    # 设置滚动条距离顶部的位置,设置为 10000, 超过10000就是最底部
    driver.execute_script(js)  # 执行脚本

    for i in range(1, num+1):
        # 单击靶机名称
        driver.find_element_by_xpath(f'//*[@id="app"]/div/div/div[2]/div[2]/div[2]/div[2]/div[2]/div[1]/div/div[{i}]/div[3]/div/span[1]').click()
        time.sleep(2)
        driver.find_element_by_xpath('//*[@id="app"]/div/div/div[2]/div[2]/div[2]/div[2]/div[3]/div/div[2]/div/div/div[1]/div[2]/div[5]/div[2]/span').click()  
        time.sleep(2)
        r =  driver.find_element_by_xpath('/html/body/div/div/div/div[3]/div/div/div[2]/div/div/div[1]/div[2]/div[5]/div[2]/div/div').text
        print(r)

                                            


login()
time.sleep(2)
click()





time.sleep(10)
driver.close()

posted @ 2020-07-16 14:11  wudixiaoherry  阅读(381)  评论(0编辑  收藏  举报