随笔分类 - webMagic

webMagic入门案例，启动流程，及从页面中获取元素，并放到Page对象中，并成功拿出

摘要：本例作用： 1）首次成功配置，了解软件运行机制2）从页面中获取元素三种方式 jsoup,xpath,css3) page.putField("subject","尝试存入结果项的内容,可从页面中获取值");4）page.getResultItems().get("subject") 从结果集中拿出数阅读全文

posted @ 2020-03-17 00:06 码哥之旅阅读(1315) 评论(0) 推荐(0) 编辑

webMagic学习笔记主页

摘要：webMagic学习笔记主页 csdn的WebMagic栏目黄亿华-- webMagic创始人博客学习第一天：webMagic入门案例，启动流程，及从页面中获取元素，并放到Page对象中，并成功拿出模拟登陆二: webmagic爬虫自学（六）网络爬虫模拟登陆[策略二：通过Selenium模拟表阅读全文

posted @ 2020-03-16 18:17 码哥之旅阅读(457) 评论(0) 推荐(0) 编辑

webMagic的PageProcessor接口实现类知识整理

摘要：webMagic的PageProcessor（页处理器,通过此实现类，可能过css,xpath,json来分析网页中内容）接口实现类知识整理站点配置成功，可获取网站html内容后， 1:PageProcessor.java接口主要两个方法process()和getSite()， public in 阅读全文

posted @ 2020-03-16 16:04 码哥之旅阅读(1092) 评论(0) 推荐(0) 编辑