随笔分类 - Jsoup

JAVA 爬虫工具

Java学习-063-Jsoup 请求页面 Content-Type 解析失败：org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, or application/xhtml+xml . Mimetype=application/javascript

摘要：使用 Jsoup 获取网站查询数据时，一直提示 Content-Type 失败，详细错误信息如下所示： 1 org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, 阅读全文

posted @ 2020-11-29 16:25 范丰平阅读(1052) 评论(0) 推荐(0) 编辑

Java学习-059-Jsoup爬虫获取中国所有的三级行政区划数据（四），生成相应的 JSON 数据并输出

摘要：还是直接上马，对应的源码如下所示：生成的三级行政区划部分 JSON 数据如下所示：阅读全文

posted @ 2019-05-22 00:37 范丰平阅读(659) 评论(0) 推荐(0) 编辑

Java学习-057-Jsoup爬虫获取中国所有的三级行政区划数据（二），并生成数据库 SQL 脚本插入语句

摘要：多不废话，直接上马，小主您稳着。。。控制台输出如下所示：数据库文件截图如下所示：阅读全文

posted @ 2019-05-22 00:22 范丰平阅读(547) 评论(0) 推荐(0) 编辑

Java学习-056-Jsoup爬虫获取中国所有的三级行政区划数据（一）

摘要：在涉及地址服务时，经常需要用到地址信息的获取，而行政区划可能不定期的发生变化，所以我们需要获取最新的行政区划信息。因行政区划数据量较大，Java中可以使用Jsoup进行数据的获取、处理。大家经常用到的行政区划数据，可从中华人民共和国民政部网站上获取，响应请求链接如下所示： http://www.m 阅读全文

posted @ 2019-05-21 23:35 范丰平阅读(1142) 评论(2) 推荐(0) 编辑

Java学习-055-Jsoup爬虫通过设置获取响应数据大小的最大值，解决因默认获取 1MB 响应数据导致的无法获取全部的响应数据内容问题

摘要：在日常工作中，通常会遇到获取各种网络数据使用的情况，Java中可使用Jsoup（Python中可使用 BeatifulSoup）进行数据的获取及处理。今天有朋友问，在使用 Jsoup 进行请求数据时，获取的响应结果信息一直不完整，然后帮忙解决了一下。下面把解决的方法记录下，方便后续遇到的亲，免受搜阅读全文

posted @ 2019-05-21 01:03 范丰平阅读(1237) 评论(0) 推荐(0) 编辑