基于平台的api接口:实时爬取最新的今日头条新闻!!!
工程使用平台api接口说明:
对于本文使用平台的api接口的使用方法,具体请点击平台的api使用链接 https://www.tianapi.com/apiview/99 查看!
该平台今日头条新闻api的接口,每间隔一段时间更新最新的今日头条新闻数据,这里对该接口的返回数据做一个判断(这里以新闻发布时间来判断),作为全局变量时间,用来记录新闻数据的更新数据,以此来判断是否有新的数据。
下面是工程编码部分:
这里对平台今日头条新闻的api接口请求返回50条的数据,请求3页新闻数据:
这是多平台的api接口发起请求(params作为参数传入):
全局变量时间的设置和赋予;提取需要的api接口返回的json数据(由于抓3页的数据,抓取完3页的数据后 ,再把请求第一页数据的新闻发布时间给设置的全局变量时间,来作为下一次请求返回数据的判断);api接口是否可以使用的异常处理:
下面是对数据进行保存(保存在csv文件里面):
最后是工程函数的控制:
ok,下面是跑这个工程结果: