selenium+python实现查询和下载文件
在bug管理系统上，按项目查询出来所有的bug，然后点击导出按钮，导出这个项目所有的bug，用selenium+python实现
操作步骤如下：
1、打开网址url
2、输入用户名和密码，点击登录（不需要验证码）
3、在项目框内输入项目编码，点击查询按钮
4、点击导出按钮，弹框提示导出成功(导出不是同步导出的，这里点击导出只是发起了一个导出操作，等待1到2分钟后，再去导出页面查看是否导出成功)
5、去导出页面下载导出的文件 xxxxxx.xls
因为之前没有用过爬虫工具，但是知道有个selenium这个自动化测试框架，本身这个需求就很简单，找到几个输入框和按钮，顺序操作就行,登录也不需要验证码
python用的是3.5版本，selenium用的是3.3 GeckoDriv
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
browser = webdriver.Firefox()
browser.get('http://www.yahoo.com')
assert 'Yahoo!' in browser.title
elem = browser.find_element_by_name('p') # Find the search box
elem.send_keys('seleniumhq' + Keys.RETURN)
browser.quit()
先在selenium上抄了一个例子，一运行，发现了少了GeckoDriver,下载GeckoDriver，放在一个path路径下
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
browser = webdriver.Firefox()
browser.get('http://www.xxxxxxx.com') #这里地址用的是查询页面，如果没有登录就会跳转到登录页面，登录之后会自动跳到查询页面
#assert 'Yahoo!' in browser 这行不要了
username=browser.find_element_by_name('uid')#获取username输入框
username.clear() #先清空输入框
username.send_keys(username) #输入用户名
password=browser.find_element_by_name('password')#获取username输入框
password.clear() #先清空输入框
password.send_keys(password) #输入密码
password.send_keys(Keys.RETURN) #输入密码之后输入RETURN特殊键实现登录，不用再定位登录按钮
以上代码就实现了用户登录
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from time #time。sleep()实现延时
browser = webdriver.Firefox()
browser.get('http://www.xxxxxxx.com') #这里地址用的是查询页面，如果没有登录就会跳转到登录页面，登录之后会自动跳到查询页面
#assert 'Yahoo!' in browser 这行不要了
username=browser.find_element_by_name('uid')#获取username输入框
username.clear() #先清空输入框
username.send_keys(username) #输入用户名
password=browser.find_element_by_name('password')#获取username输入框
password.clear() #先清空输入框
password.send_keys(password) #输入密码
password.send_keys(Keys.RETURN) #输入密码之后输入RETURN特殊键实现登录，不用再定位登录按钮
time.sleep(3) #延时3秒等待页面跳转
browser.find_element_by_name('项目').send_keys(ID) #定位到项目ID输入框并输入项目ID
browser.find_element_by_id('search').click() #定位到搜索按钮，并点击
time.sleep(3) #延时等待搜索结果
browser.find_element_by_xpath('\\').click() #定位到导出按钮，并点击
time.sleep(3) #延时 弹出导出提示框，提示用户到另外一个页面下载导出数据
browser.find_element_by_xpath('\\').click()#定位到弹出框上的确定按钮，点击确定隐藏提示框，以方便导出下一个项目的bug列表
browser.get('http://www.yyyyyy.com') #跳转到下载页面
filelist=browser.find_elements_by_xpath('\\') #定位到文件列表中所有的文件
for file in filelist:
file.click() #点击保存文件 这里有个问题，firefox保存文件会有一个提示框，让你选择是保存还是打开
百度了一下，在这里找到了方法http://www.51testing.com/html/50/598350-860378.html
设置firefox的Profile：
browser.download.dir：指定下载路径
browser.download.folderList：设置成 2 表示使用自定义下载路径；设置成 0 表示下载到桌面；设置成 1 表示下载到默认路径
browser.download.manager.showWhenStarting：在开始下载时是否显示下载管理器
browser.helperApps.neverAsk.saveToDisk：对所给出文件类型不再弹出框进行询问
profile = webdriver.FirefoxProfile()
profile.set_preference('browser.download.dir', 'd:\\')
profile.set_preference('browser.download.folderList', 2)
profile.set_preference('browser.download.manager.showWhenStarting', False)
profile.set_preference('browser.helperApps.neverAsk.saveToDisk', 'application/zip')
driver = webdriver.Firefox(firefox_profile=profile)
最后就是延时，刚开始用的是time.sleep()实现延时，运行很慢，百度一下，在这里找到了，http://www.cnblogs.com/zl0372/p/selenium_python.html
通过implicitly_wait()实现智能等待
最终代码：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from time #time。sleep()实现延时
profile = webdriver.FirefoxProfile()
profile.set_preference('browser.download.dir', 'd:\\')
profile.set_preference('browser.download.folderList', 2)
profile.set_preference('browser.download.manager.showWhenStarting', False)
profile.set_preference('browser.helperApps.neverAsk.saveToDisk', 'application/zip')
browser = webdriver.Firefox(firefox_profile=profile)
browser.get('http://www.xxxxxxx.com') #这里地址用的是查询页面，如果没有登录就会跳转到登录页面，登录之后会自动跳到查询页面
#assert 'Yahoo!' in browser 这行不要了
username=browser.find_element_by_name('uid')#获取username输入框
username.clear() #先清空输入框
username.send_keys(username) #输入用户名
password=browser.find_element_by_name('password')#获取username输入框
password.clear() #先清空输入框
password.send_keys(password) #输入密码
password.send_keys(Keys.RETURN) #输入密码之后输入RETURN特殊键实现登录，不用再定位登录按钮
browser.implicitly_wait(5) #延时3秒等待页面跳转
browser.find_element_by_name('项目').send_keys(ID) #定位到项目ID输入框并输入项目ID
browser.find_element_by_id('search').click() #定位到搜索按钮，并点击
browser.implicitly_wait(5) #延时等待搜索结果
browser.find_element_by_xpath('\\').click() #定位到导出按钮，并点击
leep(3 #延时 弹出导出提示框，提示用户到另外一个页面下载导出数据
browser.find_element_by_xpath('\\').click()#定位到弹出框上的确定按钮，点击确定隐藏提示框，以方便导出下一个项目的bug列表
browser.get('http://www.yyyyyy.com') #跳转到下载页面
filelist=browser.find_elements_by_xpath('\\') #定位到文件列表中所有的文件
for file in filelist:
file.click() #点击保存文件
