Java 使用正则表达式取出图片地址以及跳转的链接地址,来判断死链(一)
任务:通过driver的getPageSource()获取网页的源码内容,在把网页中图片链接地址和跳转的url地址进行过滤,在get每个请求,来判断是否是死链
如图:
获取网页源码中所有的href,以及img src后的链接
代码实现:
调用代码实现,正则表达式
public void home_page(){ op.loopGet(home, 40, 3, 60); String source=driver.getPageSource();//获取网页源码 // System.out.println(source); String imageSrc="img\\s*src=\"?(http:\"?(.*?)(\"|>|\\s+))";//图片的正则表达式 //要注意https的数据是否能loading出来,要注意查看 String jumpAdders="a\\s*href=\"?(http:\"?(.*?)(\"|>|\\s+))";//获取html的地址 Regular(imageSrc,source); Regular(jumpAdders,source); }
Regular方法,使用正则表达式
public void Regular(String expressions, String sourceFile) { Map<String, String> result = new HashMap<String, String>(); Pattern p = Pattern.compile(expressions); Matcher m = p.matcher(sourceFile); while (m.find()) { //System.out.println(m.group()); //需要做对比是否需要全部去出数据更快, String regularURL = m.group().replace("img src=", "").replace("a href=", ""); regularURL=regularURL.substring(1,regularURL.length()-1);//会多引号 result = Pub.get(regularURL); if (!"200".equals(result.get("Code"))) { Log.logError("请求失败,请检查图片或者是网页链接否正常显示,请求地址为:"+regularURL); } } System.out.println("**********************"); }
Pub.get方法,发送get请求
public static Map<String, String> get(String url) { int defaultConnectTimeOut = 30000; // 默认连接超时,毫秒 int defaultReadTimeOut = 30000; // 默认读取超时,毫秒 Map<String, String> result = new HashMap<String, String>(); BufferedReader in = null; try { Log.logInfo("通过java请求访问:["+url+"]"); // 打开和URL之间的连接 URLConnection connection = new URL(url).openConnection(); // 此处的URLConnection对象实际上是根据URL的请求协议(此处是http)生成的URLConnection类的子类HttpURLConnection // 故此处最好将其转化为HttpURLConnection类型的对象,以便用到HttpURLConnection更多的API. HttpURLConnection httpURLConnection = (HttpURLConnection) connection; // 设置通用的请求属性 httpURLConnection.setRequestProperty("accept", "*/*"); httpURLConnection.setRequestProperty("connection", "Keep-Alive"); httpURLConnection.setRequestProperty("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)"); httpURLConnection.setConnectTimeout(defaultConnectTimeOut); httpURLConnection.setReadTimeout(defaultReadTimeOut); if (staging != null) { httpURLConnection.setRequestProperty("Cookie", staging.toString()); } if (ORIGINDC != null) { httpURLConnection.setRequestProperty("Cookie", ORIGINDC.toString()); ORIGINDC = null; } // // Fidder监听请求 // if ((!proxyHost.equals("") && !proxyPort.equals(""))) { // System.setProperty("http.proxyHost", proxyHost); // System.setProperty("http.proxyPort", proxyPort); // } // 建立连接 httpURLConnection.connect(); result = getResponse(httpURLConnection, in, result); } catch (Exception requestException) { System.err.println("发送GET请求出现异常!" + requestException); // requestException.printStackTrace(); } // 关闭输入流 finally { try { if (in != null) { in.close(); } } catch (Exception closeException) { closeException.printStackTrace(); } } return result; }
结果展示:
图片正常展示
访问的链接地址,并查到某一处请求失效:
作者:做梦的人(小姐姐) 出处:https://www.cnblogs.com/chongyou/ 本文版权归作者,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。 如果文中有什么错误,欢迎指出。以免更多的人被误导。 微信号:18582559217 |