会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
CodeBlogMan
学无止境,人生路漫漫。
博客园
首页
新随笔
订阅
管理
2023年5月30日
【Java 爬虫】如何通过 API 递归分页爬取网页数据
摘要: 在最近的互联网项目开发中,需要获取用户的访问ip信息,并进行后续统计分析。 这些ip信息是在第三方的服务中分组存放的,且每个分组都都是分页(1页10条)存放的,如果一次性访问大量的数据,API很有可能会报错。 怎样通过HTTP的方式去获取到信息,并且模拟浏览器每页每页获取10条的信息,且持久到数据库中,就成了当下亟需解决的问题。
阅读全文
posted @ 2023-05-30 10:49 CodeBlogMan
阅读(545)
评论(0)
推荐(0)
编辑
公告