摘要: 以前没有写过爬虫程序,最近两天就研究了一下java的爬虫框架webmagic。然后写了一个demo 写爬虫的基本思想: 1.抓取目标连接 2.根据页面中标签,抓捕你需要的内容 3.保存结果集 以下是实现demo: 结果集为: 参考:https://github.com/code4craft/webm 阅读全文
posted @ 2017-03-13 11:21 全力以赴001 阅读(428) 评论(0) 推荐(0) 编辑