我和爬虫有个约会（java）
我理解的爬虫就是通过技术手段拿到网页的源代码（java）
方法很多种，可以通过代码发起http请求，拿到网页源代码。也可以用封装好的工具如httpclient，htmlunit。或者上大杀器phantomjs（貌似有点淘汰了）和selenium来获得源代码。。。。。
简单的网站直接发起请求就能够拿到网页源代码，如博客园。有些网站需要一些简单的请求信息，如request-header里面的User-Agent。有些网站需要cookie验证信息。 有些丧心病狂的网站技术大多是动态加载的。拿过你不想分析他的ajax请求来艰难度日的话。可以试试selenium。
接下来讲讲每个技术的具体实现方法。有点晚了，先睡了。明天继续写。
---------------------------------------------------------------------------------------------------------------------------------------------------
写了一大半蓝屏了 win10 气炸了。
继续开工
第一种，通过java自己的代码发起http请求，获得链接。能做很多功能，但是太多了，可以被使用封装好的httpClient工具。
URL url = new URL("https://www.cnblogs.com/");
URLConnection openConnection = url.openConnection();
HttpURLConnection httpConnection = (HttpURLConnection) openConnection;
int responseCode = httpConnection.getResponseCode();
System.out.println(responseCode);
InputStream inputStream = httpConnection.getInputStream();
String html = IOUtils.toString(inputStream); //org.apache.commons.io.IOUtils;
System.out.println(html);
第二种 使用简单的封装工具如ioutils或者jsoup获得获得源代码，适合简单的网页，没有cookie或者user-agent之类限制的网页。jsoup还可以用来解析html文档，免得写正则或则xpath之类的表达式。
String html = IOUtils.toString(new URL("https://www.cnblogs.com/"), "utf-8");//org.apache.commons.io.IOUtils;
System.out.println(html);
Document htmlDocument = Jsoup.parse(new URL("https://www.cnblogs.com/"), 5*1000);//org.jsoup.Jsoup;
String text = htmlDocument.toString();
System.out.println(text);第三种 使用专业的http工具，如httpclient。可以设置发起的参数和获得返会的参数信息。但是解析ajax动态生成的网页就难受了
CloseableHttpClient httpClient = HttpClients.createDefault();
HttpGet get = new HttpGet("https://www.cnblogs.com/");
get.addHeader("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36");
CloseableHttpResponse response = httpClient.execute(get);
System.out.println(response.getStatusLine().getStatusCode());
String html = EntityUtils.toString(response.getEntity());// 获得网页源代码
System.out.println(html);
Header[] allHeaders = response.getAllHeaders();//获得返回的response信息
for (Header header : allHeaders) {
System.out.println(header);
}
response.close();
httpClient.close();
第四种 htmlunit 能够处理简单的ajax生成的网页。但是因为该技术使用的浏览器内核不是主流浏览器。所以解析存在一些兼容性问题。 创建对象，按需求设置一些true，false参数。设置一个后台运行等待时间之类的。再发起请求。获得源码。大致如下。没有深入研究过
WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getCookieManager().setCookiesEnabled(true);
webClient.getOptions().setUseInsecureSSL(true);//支持https
webClient.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true
webClient.getOptions().setCssEnabled(true); // css支持
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.setJavaScriptTimeout(10000);//设置js运行超时时间
webClient.waitForBackgroundJavaScript(10000);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setUseInsecureSSL(true);
webClient.getOptions().setRedirectEnabled(true);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
URL url = new URL("https://www.cnblogs.com/");
HtmlPage htmlpage = webClient.getPage(url);
webClient.waitForBackgroundJavaScript(10000);
System.out.println(htmlpage.asXml());
webClient.close();
第五种 selenuim+chrome 浏览器 通过代码打开浏览器，模拟人的输入，点击等事件。获得源代码
（windos版本）需要安装新版的chrome浏览器，也可以用其他浏览器。这里我用chrome浏览器。 再在chrome浏览器的启动文件夹下加上chromedriver（网上下载 下载chromedirver地址）驱动。如下图。
System.setProperty("webdriver.chrome.driver", "C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe");
Map<String, Object> prefs = new HashMap<String, Object>();
prefs.put("profile.default_content_setting_values.notifications", 2);
ChromeOptions options = new ChromeOptions();
options.setExperimentalOption("prefs", prefs);
// options.addArguments("--headless","--no-sandbox","--disable-dev-shm-usage","--disable-gpu"); //这个配置意思是不开启界面，不加载gpu渲染界面。linux server运行需要次配置
options.setExperimentalOption("useAutomationExtension", false);
WebDriver driver = new ChromeDriver(options);
//到此获得了driver对象。可通过次对象 控制浏览器
通过 driver.get("https://www.xxxx.com"); 访问网站
driver.getPageSource() 获得网页源代码
//关闭浏览器和进程
driver.close();
driver.quit();
还可以控制输入框的清空和输入，按钮的点击之类的。
顺便说一句 ，如果部署在linux server 上，没有界面的linux 上面也是可以的。不过需要先安装chrome浏览器。然后把linux对应的驱动上传上去。代码里面指定好chromedriver的路径。
over
这排版有点不太会用呀
