爬取大众点评地址数据

 如下图是我们要爬取的数据

 

 因为要爬取所有的地址数据，所以我们要将 更多 点开。这就涉及js操作，需要使用selenium模块。

 

找到每个更多，然后点开。

# 点击更多，将未显示的地址暴露出来
    more_click = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'fn-more')))
    for  a in more_click:
        a.click()

当所有的更多都被点开后，光标已经挪动到了最底层的位置，这时需要我们将光标再返回到顶部。
点击返回顶部的按钮。

#点击回到顶部，从头开始爬取数据
    to_top = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'toTop')))
    to_top.click()

然后再开始一级一级的爬取数据。

 

完整版代码

考虑到性能，所以是使用了协程gevent模块。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import gevent


browser = webdriver.Ie('E:\python_server\IEDriverServer')
wait = WebDriverWait(browser, 10)

browser.get("https://www.dianping.com/citylist/citylist?citypage=1")

def main():

    # 点击更多，将未显示的地址暴露出来
    more_click = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'fn-more')))
    for  a in more_click:
        a.click()

    #点击回到顶部，从头开始爬取数据
    to_top = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'toTop')))
    to_top.click()

    #地区
    adress = browser.find_elements_by_class_name('vocabulary')
    for  i in adress:
        print(i.text)

    #直辖市，港澳台
    adress_city_name_1 = browser.find_elements_by_class_name('terms')
    for i in adress_city_name_1:
        print(i.text)

    #地级市，县级市
    adress_city_name_2 = browser.find_elements_by_class_name('terms-open')
    for i in adress_city_name_2:
        print(i.text)

    browser.close()

if __name__ == '__main__':
    gevent.joinall([
            gevent.spawn(main),
        ])

 

结果部分截图