Java+Selenium--页面反爬虫机制，安全滑块踩过的坑
最近工作中，要在淘宝四级页下订单并支付。淘宝的页面对自动化脚本识别控制还是挺多，短时间重复登录、下单并支付操作，会被后台检测，会在登录，四级页，订单提交页面出现安全滑块拦截。以下为最近遇到的问题踩到的坑和解决办法。
1.关于页面识别window.navigator.webdirver属性值的问题
当我们没有使用自动化脚本时，本地打开谷歌浏览器，在控制台输入window.navigator.webdirver时，返回的是undefined。
当我们使用webDriver调用本地浏览器时，在控制台输入window.navigator.webdirver时，可能返回True被服务端判定为爬虫，会登录产生滑块或者登录失败。
此时需要在代码中加入CdpCommand，同时还有ChromeOptions操作，代码一并附上
public RemoteWebDriver init() { //设置property
//driverpath为本地的chromedriver.exe的路径 System.setProperty("webdriver.chrome.driver", driverpath); System.out.println("准备实例化ChromeOpen类"); //设置浏览器options ChromeOptions options = new ChromeOptions(); // 关闭界面上的---Chrome正在受到自动软件的控制 options.addArguments("disable-infobars"); // 允许重定向 //options.addArguments("--disable-web-security"); // 最大化 //options.addArguments("--start-maximized"); //options.addArguments("--no-sandbox"); //设置ExperimentalOption List<String> excludeSwitches = Lists.newArrayList("enable-automation"); options.setExperimentalOption("excludeSwitches", excludeSwitches); options.setExperimentalOption("useAutomationExtension", false); ChromeDriver driver = new ChromeDriver(options); //修改window.navigator.webdirver=undefined，防机器人识别机制 Map<String, Object> command = new HashMap<>(); command.put("source", "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"); driver.executeCdpCommand("Page.addScriptToEvaluateOnNewDocument", command); return driver; }
2.判断页面元素是否存在，主要用于检测是不是有安全滑块（这个是真的烦，狗头ORZ）
//判断是否存在某元素 public boolean isJudgingElement(RemoteWebDriver remoteWebDriver, By by) { try { remoteWebDriver.findElement(by); return true; } catch (Exception e) { System.out.println("不存在此元素"); return false; } }
3.淘宝登录滑块，此处需要使用action操作，且 action.dragAndDropBy(moveButton, 258, 0).perform()为重点操作。
//点击登录按钮 Thread.sleep(2000); WebElement login = remoteWebDriver.findElement(By.xpath("//form[@id=\"login-form\"]//div[@class=\"fm-btn\"]/button")); login.click(); //判断是否有滑块 Thread.sleep(2000); if (isJudgingElement(remoteWebDriver, By.id("baxia-dialog-content"))) { remoteWebDriver.switchTo().frame("baxia-dialog-content"); if (isJudgingElement(remoteWebDriver, By.id("nc_2_n1z"))) { Actions action = new Actions(remoteWebDriver); WebElement moveButton = remoteWebDriver.findElement(By.id("nc_2_n1z")); // 移到滑块元素并悬停,不能超出框的长度，否则异常 action.clickAndHold(moveButton); action.dragAndDropBy(moveButton, 258, 0).perform(); action.release(); } remoteWebDriver.switchTo().defaultContent(); login.click(); } //校验登录成功 Thread.sleep(2000); WebElement userid = remoteWebDriver.findElement(By.xpath("//div[@class=\"site-nav-user\"]/a")); System.out.println(userid.getText()); if (userid.getText().equals(username)) { System.out.println("淘宝网登录成功"); }
4.代码执行失败截图浏览器，并打印日志，退出浏览器，防止浏览器进程过多未关闭
catch (Exception e) { e.printStackTrace(); SimpleDateFormat df = new SimpleDateFormat("yyyyMMddHHmmss");//设置日期格式 String currentTime = df.format(new Date()); System.out.println(currentTime);// new Date()为获取当前系统时间 String path = "C:\\Users\\Desktop\\pic\\Exception_" + currentTime + ".png"; File src = ((TakesScreenshot) remoteWebDriver).getScreenshotAs(OutputType.FILE); // 调用截图方法 FileUtils.copyFile(src, new File(path)); System.out.println("登录失败!"); Thread.sleep(2000); remoteWebDriver.quit(); } //浏览器退出 public void webDriverQuit(RemoteWebDriver remoteWebDriver) { remoteWebDriver.quit(); System.out.println("浏览器退出成功"); }
5.四级页安全滑块问题，目前四级页的安全滑块和确认订单页的安全滑块，没有比较好的方法，使用了登录的滑块方法，但是并没有效果。不过好在四级页还可以通过关闭滑块弹框，等待页面加载控件，点击立即购买，到确认订单页面。
//打开四级页 remoteWebDriver.get(Level4PageUrl); Thread.sleep(2000); //判断是否有安全滑块，点击关闭 if (tblogin.isJudgingElement(remoteWebDriver, By.id("sufei-dialog-content"))) { /*remoteWebDriver.switchTo().frame("sufei-dialog-content");*/ remoteWebDriver.findElement(By.id("sufei-dialog-close")).click(); /*remoteWebDriver.switchTo().defaultContent();*/ //页面缓存 Thread.sleep(10000); } //点击立即购买按钮 remoteWebDriver.findElement(By.id("J_LinkBuy")).click(); Thread.sleep(2000);
6.确认订单页面的安全滑块（参照账号登录方法，不过滑块验证失败，待解决，有解决方案的大佬多多指教，感谢）
//订单页面滑块判断 if (tblogin.isJudgingElement(remoteWebDriver, By.id("nc_1_n1z"))) { Actions action = new Actions(remoteWebDriver); WebElement moveButton = remoteWebDriver.findElement(By.id("nc_1_n1z")); // 移到滑块元素并悬停,不能超出框的长度，否则异常 action.clickAndHold(moveButton); action.dragAndDropBy(moveButton, 258, 0).perform(); action.release(); Thread.sleep(2000); if(!tblogin.isJudgingElement(remoteWebDriver, By.linkText("提交订单"))){ //试图二次刷新页面，操作安全滑块 String currentUrl = remoteWebDriver.getCurrentUrl(); remoteWebDriver.get(currentUrl); Thread.sleep(2000); action = new Actions(remoteWebDriver); moveButton = remoteWebDriver.findElement(By.id("nc_1_n1z")); // 移到滑块元素并悬停,不能超出框的长度，否则异常 action.clickAndHold(moveButton); action.dragAndDropBy(moveButton, 258, 0).perform(); action.release(); Thread.sleep(2000); } }
7.重头戏！好家伙，这玩意卡了我两天，支付页面，输入密码提交支付。开始的思路，页面的密码输入框不可点击，想通过js语句去修改html的css属性，达到元素可以定位的效果。无奈，不论怎么修改，都无法在页面生效，这里不得不给支付宝的开发大大点赞。
这个思路不行，就想别的解决方案。发现从订单提交页面提交成功后，跳转到支付页面，光标是自动定位到密码的第一个输入框的，而且元素的属性是visibility: visible，并且输入第一个数字后，光标自动移到第二个输入框。然后就想，是不是有方法能够获取当前光标，直
接去模拟键盘操作。在网上找了很多帖子，奈何基本都是python的帖子，用的是keyboard类的方法。就在绝望准备推倒java，拿起python工具之前，google了一下，发现可以使用action的思路。
//输入支付密码 for (int i = 0; i < payPassword.length(); i++) { char c = payPassword.charAt(i); String password = String.valueOf(c); Actions action = new Actions(remoteWebDriver); action.sendKeys(password).build().perform(); action.clickAndHold(); action.release(); /*String path = picpath + i + ".png"; File src = ((TakesScreenshot) remoteWebDriver).getScreenshotAs(OutputType.FILE); // 调用截图方法 FileUtils.copyFile(src, new File(path));*/ } Thread.sleep(1000); remoteWebDriver.findElement(By.id("J_authSubmit")).click(); Thread.sleep(5000); //付款成功校验 String resp = remoteWebDriver.findElement(By.xpath("//div[@id=\"J_AmountList\"]/h2")).getText(); if ("您已成功付款".equals(resp)) { System.out.println("订单支付成功"); String currentUrl = remoteWebDriver.getCurrentUrl(); System.out.println(currentUrl); String[] orderIdArray1 = currentUrl.split("bizOrderId="); String orderIdString = orderIdArray1[1]; String[] orderIdArray2 = orderIdString.split("&"); orderId = orderIdArray2[0]; System.out.println("订单编号orderId：" + orderId); SimpleDateFormat df = new SimpleDateFormat("yyyyMMddHHmmss");//设置日期格式 currentTime = df.format(new Date()); String path = picpath + currentTime + "_orderCreate_" + orderId + ".png"; File src = ((TakesScreenshot) remoteWebDriver).getScreenshotAs(OutputType.FILE); // 调用截图方法 FileUtils.copyFile(src, new File(path)); tblogin.webDriverQuit(remoteWebDriver); }
8.将订单号，下单时间等信息保存到excel中
public static void createExcelxlsx(String path) throws Exception { //创建excel对象 XSSFWorkbook wb = new XSSFWorkbook(); //用文件对象创建sheet对象 XSSFSheet sheet = wb.createSheet("sheet1"); //创建单元格样式 CellStyle cellStyle = wb.createCellStyle(); //设置表头 XSSFRow rowInit = sheet.createRow(0); Cell cell1 = rowInit.createCell(0); Cell cell2 = rowInit.createCell(1); Cell cell3 = rowInit.createCell(2); cell1.setCellValue("行号"); cell2.setCellValue("订单编号"); cell3.setCellValue("创建时间"); FileOutputStream outputInit = new FileOutputStream(path); wb.write(outputInit); outputInit.flush(); outputInit.close(); } public static void saveExcelxlsx(String path, int i, String value, String time) throws Exception { XSSFWorkbook wb = new XSSFWorkbook(new FileInputStream(path)); XSSFSheet sheet = wb.getSheet("sheet1"); //写订单数据 //用sheet对象创建行对象 XSSFRow row = sheet.createRow(i + 1); //构造数据 List<Object> list = new ArrayList<>(); list.add(i + 1); list.add(value); list.add(time); int length = list.size(); for (int n = 0; n < length; n++) { FileOutputStream output = new FileOutputStream(path); //用行对象创建单元格对象Cell Cell cell = row.createCell(n); //用cell对象读写。设置excel工作表值 cell.setCellValue(list.get(n).toString()); wb.write(output); output.flush(); output.close(); } } public static void main(String[] args) throws Exception { for (int i = 0; i < 10; i++) { HashMap<String, String> hashMap = tbOrderCreate(); Iterator it = hashMap.keySet().iterator(); String v = ""; String t = ""; while (it.hasNext()) { v = it.next().toString(); t = hashMap.get(v); } if (!("".equals(v))) { File file = new File(excelpath); if (!file.exists()) { createExcelxlsx(excelpath); saveExcelxlsx(excelpath, i, v, t); } else { saveExcelxlsx(excelpath, i, v, t); } } } }
