C#使用Selenium网页自动化
工作中很多时候经常需要网抓数据或者把数据填写到网站上,使用Selenium将其自动化是一种不错的选择。Selenium其实是一个用于Web应用程序测试的工具,测试你的应用程序看是否能够很好地工作在不同浏览器和操作系统之上。它可直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。
1、在NuGet中下载Selenium.Chrome.WebDriver(v2.45.0)和Selenium.WebDriver(v3.141.0),然后引用using OpenQA.Selenium;和using OpenQA.Selenium.Chrome;
2、声明和实例一个ChromeDriver对象
IWebDriver driver = new ChromeDriver(System.AppDomain.CurrentDomain.BaseDirectory.ToString());
ChromeDriver总共有8个构造方法,这里我使用的是第4个方法。
ChromeDriver()、ChromeDriver(ChromeDriverService service)指定初始化ChromeDriver的服务、ChromeDriver(ChromeOptions options)指定ChromeDriver的选项、ChromeDriver(string chromeDriverDirectory)指定ChromeDriver.exe的目录路径、ChromeDriver(ChromeDriverService service,ChromeOptions options)、ChromeDriver(string chromeDriverDirectory,ChromeOptions options)、ChromeDriver(ChromeDriverService service,ChromeOptions options,TimeSpan commandTimeOut)指定了命令的等待执行时间、ChromeDriver(string chromeDriverDirectory,ChromeOptions options,TimeSpan commandTimeOut)
ChromeOptions参数设置可参考https://peter.sh/experiments/chromium-command-line-switches/和https://sites.google.com/a/chromium.org/chromedriver/capabilities,常用的有下面几个:
--user-agent=“” 设置请求头的User-Agent
--window-size=1366,768 设置浏览器窗口大小
--headless 无界面运行
--start-maximized 最大化运行
--incognito 隐身模式
--disable-javascript 禁用javascript
--disable-infobars 禁用浏览器正在被自动化程序控制的提示
var option = new ChromeOptions(); option.AddArgument("--incognito"); option.AddArgument("headless"); option.AddArgument("disable-infobars"); IWebDriver driver = new ChromeDriver(System.AppDomain.CurrentDomain.BaseDirectory.ToString(),option);
ChromeDriverService参数比较少用,可以参考https://ask.csdn.net/questions/758189,常用来设置命令行窗口不弹出:
var cdSvc = ChromeDriverService.CreateDefaultService(); cdSvc.HideCommandPromptWindow = true; IWebDriver driver = new ChromeDriver(cdSvc);
但是使用了ChromeDriverService参数就不能指定ChromeDriver的目录路径了,很忧伤。
3、打开网址和设置元素查找时间限制
driver.Navigate().GoToUrl("http://dcga。。。"); driver.Manage().Timeouts().ImplicitWait = TimeSpan.FromSeconds(20);
4、获取html元素并进行操作
driver.FindElement(By.XPath("//button[@class=\"btn try-out__btn\"]")).Click(); IWebElement tryit; tryit = driver.FindElement(By.XPath("//textarea[@class=\"body-param__text\"]")); tryit.Clear(); tryit.SendKeys("{\"docId\":\"111111111\"}");
如果返回的元素有多个,就得使用collection了,引用using System.Collections.ObjectModel;
ReadOnlyCollection<IWebElement> coll = driver.FindElements(By.XPath("//*[@id=\"operations-default-post_automation_api_va\"]/div/span[2]/a"));
5、其他一些可能使用的语句
driver.Manage().Window.Maximize();//窗口最大化 System.Threading.Thread.Sleep(1000);//等待1秒 ReadOnlyCollection<string> windows = driver.WindowHandles; driver.SwitchTo().Window(windows[1]);//有新窗口弹出时切换