摘要: 相关技术:上一篇+队列 思路分析:将主网站添加进队列,根据httpClent解析该网站,的奥对应的链接,判断链接是否有效,如果有效判断是否是目标,是目标,进行相关操作,不是目标添加进队列,在次解析队列,通过这种方式解析整个网站。 package com.open111.crawler; import 阅读全文
posted @ 2017-03-20 23:08 小拽A 阅读(1521) 评论(0) 推荐(0) 编辑
摘要: 技术:httpClent+jsoup 任务:利用httpClent爬去网站信息,在利用jsoup解析 方法说明: parseUrl(String url):传入相应的url返回该网页内容,网页必须是html类型格式 parseWebPage(String webPageContent):将网页解析出 阅读全文
posted @ 2017-03-20 22:01 小拽A 阅读(232) 评论(0) 推荐(0) 编辑