selenium模拟页面向下滚动加载全部页面

一些网站在访问时不会一次加载所有元素，需要下拉至底部后等待刷新更多元素出来，利用selenium执行js代码滚动页面，每次重新获取页面高度，直到页面高度不再变化。

js='return document.body.scrollHeight;'
height=0
while True:
    new_height = driver.execute_script(js)
    if new_height > height:
        driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        height = new_height
        time.sleep(5)
    else:
        print("滚动条已经处于页面最下方!")
        driver.execute_script('window.scrollTo(0, 0)')#页面滚动到顶部
        break

这是通用的做法，对于具体的网站可以做一些针对性变化，比如，某网站页面初始载入比较慢，利用某个元素判断是否已加载完成

total=browser.find_element_by_id('total').text#判断元素是否已加载
while total == '':
    time.sleep(1)
    total=browser.find_element_by_id('total').text

然后开始循环下拉载入所有元素，利用元素属性判断是否已加载，

当全部载入完毕后，页面底部会有提示，利用这个元素判断是否已载入完毕

is_done=browser.find_element_by_id('loading').text
while is_done == '':  
    browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')#一撸到底
    is_ready=browser.find_element_by_id('loading').get_attribute('class')
    while is_ready == 'tc mt-10':#判断下拉页面是否刷新
        time.sleep(1)
        is_ready=browser.find_element_by_id('loading').get_attribute('class')
        is_done=browser.find_element_by_id('loading').text#当页面底部提示出现，表示已经加载全部元素
        if is_done != '':
            break

print("滚动条已经处于页面最下方!")