摘要：
1.需求分析 访问京东商城的首页，搜索手机，分析页面，抓取一下商品的信息： 商品图片、价格、标题、商品详情页 在这个过程中我们可以通过京东商城进行分析，获取到我们需要的信息，在分析过程中我们会看到 有两个名称SPU和SKU。 接下来就需要了解一下SPU和SKU的概念 SPU=Standard Pro 阅读全文
摘要：
package jsoup;import org.apache.commons.io.FileUtils;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.junit.Test;import java.io.File; 阅读全文
摘要：
Jsoup介绍 1.为什么要使用Jsoup? 抓取到网页后，还需要对页面进行解析。对于解析有很多处理方式：比如：字符串工具解析、正则表达式等，但是上面这些成本巨大，因此需要一款专门解析html页面的技术。因此就可以使用Jsoup来实现。 2.Jsoup简介 jsoup是一款java的HTML解析器， 阅读全文
摘要：
代码： package cn.itcast.crawler.test;import org.apache.http.HttpEntity;import org.apache.http.client.config.RequestConfig;import org.apache.http.client. 阅读全文
摘要：
在前面的内容中已经可以深刻的体会到，不管是post请求还是get请求，每次都要创建HttpClient,会出现频繁的创建和销毁问题。 对于上面的问题我们可以使用连接池来解决 具体代码： package cn.itcast.crawler.test;import org.apache.http.cli 阅读全文
摘要：
具体代码： package cn.itcast.crawler.test;import org.apache.http.HttpEntity;import org.apache.http.NameValuePair;import org.apache.http.client.entity.UrlEn 阅读全文
摘要：
直接看代码： package cn.itcast.crawler.test;import org.apache.http.HttpEntity;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache. 阅读全文
摘要：
直接代码： package cn.itcast.crawler.test;import org.apache.http.HttpEntity;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.h 阅读全文
摘要：
网络爬虫之HttpClient HttpClient 网络爬虫就是用程序爬取资源，需要使用Http协议访问互联网的网页，在爬虫过程中使用java的Http协议客户端HttpClient这个技术来实现抓取网页中的数据 HttpClient之Get请求 下面进行代码实现 网络爬虫之HttpClient 阅读全文
摘要：
网络爬虫 定义 网络爬虫：也叫网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理，他是按照一定的规则，自动的抓取万维网程序或脚本，可以自动采集所有其能访问的页面内容，以获取相关数据 从功能来看，一般分为三部分 数据采集 数据处理 数据存储 为什么要使用爬虫，其有哪些优势？ 可以实现搜索 阅读全文