摘要: 先创建maven项目 用quickstart模板就好 创建好maven,下一步在pom.xml内加入log4j的maven依赖 然后在项目根目录下创建logs包,包下创建datestorekb.log文件(用来保存打印的日志),并且在src目录下创建log的配置文件log4j.properties 阅读全文
posted @ 2018-04-13 10:50 半柠檬 阅读(387) 评论(0) 推荐(0) 编辑
摘要: header()内是为了模拟请求头,setAgent(ip,port)是设置代理服务器(第一篇有介绍),用来爬取国外网站,国内的不用加。 加入jsoup的maven依赖 阅读全文
posted @ 2018-04-13 10:24 半柠檬 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 这里用到phantomjs这个插件,直接去官网下载就可以。 加入phantomjs 所需要的maven依赖 我把设置代理的方法setAgent()注释了(设置代理服务器,上一篇有介绍),因为发现phantomjs无法爬取国外网站,加上会报错误。具体原因还不清楚。 阅读全文
posted @ 2018-04-13 10:15 半柠檬 阅读(458) 评论(0) 推荐(0) 编辑
摘要: /** * 设置代理 * * @param ip * @param port */ public static void setAgent(String ip, String port) { Properties props = System.getProperties(); props.setPr... 阅读全文
posted @ 2018-04-13 09:54 半柠檬 阅读(307) 评论(0) 推荐(0) 编辑