selenium

selenium

selenium用来做爬虫的优点

• 简单，直观，直接模拟用户行为，用户加载网络获取网页源码
• 与scrapy结合
• 多种web-drive(browser),交互：无头，chrome

selenium用来做爬虫的缺点

• 易识别
• 易崩溃
• 不易做成可执行文件.exe

环境变量

下载驱动（用谷歌浏览器来举例子）

ChromeDriver(谷歌浏览器驱动)

• 建议和谷歌放在一起

  配置系统环境变量path

• 放在python根目录下

打开和关闭浏览器

browser = selenium.webdriver.Chrome()#打开谷歌浏览器
browser.close()

获取网址

browser.get('url') #主义url是字符串

节点

推荐插件xpath helper

node = browser.find_element_by...  #不同的语言
node = browser.find_element_by_xpath("//div['']/...") #单节点
node = brower.find_elements_by_xpath("//span['']/...")#多节点

点击按钮

button = browser.find_element_by_xpath('')
button.click() #不推荐
browser.executer_script("arguments[0].click();",butt)