利用递归的方式获取restful风格有nextUrl接口返回的数据
概述
最近做业务获取到的API中的数据格式如下：
{ "data": [ { "account_id": "xxx", "campaign_id": "xxxxxxx", "id": "x32xx284026xxx9" }, { "account_id": "xxx", "campaign_id": "xxxxxxxxx", "id": "2xx713x22xx" }, ... ], "paging": { "cursors": { "before": "xxxerrr", "after": "sdfsdf" }, "next": "https://graph.facebook.com/v7.0/xx/adsets?access_token=xxx&pretty=0&fields=xx%2Ccampaign_id&limit=4&after=sdfsdf" } }
我们可以看到：这种格式返回的数据我们只知道下一页应该请求的URL，但是并不知道数据的总量！
这跟我们在以往处理数据库中数据的思路是不一样的。在数据库中处理的数据我们大概知道数据的量级以便做预处理。但是由于这些数据我们是请求三方API获取的，事先我们是不知道数据的量级的，只有不断去请求指定的next对应的URL获取新的数据去处理。
解决思路
我的解决方案是：由于我们并不确定数据的量级，在不知到数据总量的情况下我们可以使用递归的方式，判断请求到的数据只要有next并且next对应的数据不为空，那么就继续请求接口，直到没有next为止，然后“从里往外”将数据塞到事先准备好的容器类型即可。
这里要特别注意的是：递归函数的结束条件是没有next数据！
Go代码
用于解析数据的结构体如下
// 通用的分页 type Paging struct { //Cursors interface{} `json:"cursors"` Next string `json:"next"` } type CampaignFB struct { Id string `gorm:"column:id;size:255;primaryKey; comment:'CampaignID'"` AccountId string `json:"account_id" gorm:"column:account_id;size:255; not null; comment:'所属广告账户Id'"` Name string `gorm:"column:name; size:255; comment:'Campaign名字'"` } // json解析为struct的时候用到 type CampaignFBResponse struct { Data []*CampaignFB `json:"data"` Paging *Paging `json:"paging"` }
递归的代码V1版
// 获取某个账户下的所有Ad 递归获取下一页数据 func GetAccountAds(f func(requestMethod, url string) string, requestMethod, url string, a *[]*model.AdFB){ strRet := f(requestMethod, url) //fmt.Println("strRet>>> ",strRet) var response model.AdFBResponse err := json.NewDecoder(strings.NewReader(strRet)).Decode(&response) if err != nil{ fmt.Println("AdFB json转结构体出错>>> ",err) }else{ //fmt.Println("response>>> ",response) paging := response.Paging data := response.Data for _, adObj := range data{ *a = append(*a, adObj) } // 如果有下一页则递归获取数据 递归结束的条件 if paging != nil && paging.Next != ""{ nextStrUrl := (*paging).Next nextStrUrlNew := strings.Replace(nextStrUrl, "https://graph.facebook.com/v8.0/", BaseURL, 1) // 递归获取下一页数据 GetAccountAds(f, requestMethod,nextStrUrlNew,a) } } }
相关完整代码
// 获取账户下的campaign数据 ———— 调用的地方 func handleAccountCampaigns(token, accountId string, app *app.App) { requestMethod := "GET" url := BaseURL + accountId + "/campaigns?fields=account_id,id,name,objective,status,created_time,updated_time,daily_budget,lifetime_budget&access_token=" + token camLst := []*model.CampaignFB{} // TODO 直接传入ret的地址！可以直接在ret中操作，将账户的Campaign数据写入camLst中！！！ GetAccountCampaigns(FBBaseRequestString, requestMethod, url, &camLst) // fmt.Println("len_ret>>> ", len(camLst)) // 存入数据库 for _, camObj := range camLst { // Format一下 camObj.Format() // 直接用Save方法 实现 insert或update err := app.SrvStore.Campaign().FBSave(camObj) if err != nil { mlog.Error("创建Campaign失败:" + (*camObj).Id) } } } // 获取某个账户下的所有AdSet 递归获取下一页数据 func GetAccountCampaigns(f func(requestMethod, url string) string, requestMethod, url string, c *[]*model.CampaignFB) { strRet := f(requestMethod, url) //fmt.Println("strRet>>> ", strRet) // json转结构体 Campaign var response model.CampaignFBResponse err := json.NewDecoder(strings.NewReader(strRet)).Decode(&response) if err != nil { fmt.Println("CampaignFB json转结构体出错>>> ", err) } else { //fmt.Println("response>>> ",response) paging := response.Paging data := response.Data for _, camObj := range data { // 往成员变量中写入数据 *c = append(*c, camObj) } // 有下一页就递归获取 注意这里要加双重判断！！！ if paging != nil && paging.Next != "" { nextStrUrl := (*paging).Next nextStrUrlNew := strings.Replace(nextStrUrl, "https://graph.facebook.com/v8.0/", BaseURL, 1) // 递归获取下一页数据 GetAccountCampaigns(f, requestMethod, nextStrUrlNew, c) } } } // FB base // 发HTTP请求并解析数据 func FBBaseRequestString(requestMethod, url string) string { client := &http.Client{} req, err := http.NewRequest(requestMethod, url, nil) if err != nil { fmt.Println("err1 >>>>> ", err) } resp, err := client.Do(req) if err != nil { fmt.Println("err2 >>>>>", err) } returnStr, err := parseResponseString(resp) //fmt.Println("returnStr>>> " + returnStr) // HTTP字节流转为str的结果 return returnStr } // 解析http请求返回的结果 ———— 转换为string func parseResponseString(response *http.Response) (string, error) { body, err := ioutil.ReadAll(response.Body) return string(body), err // 将io数据流转换为string }
简单说明
这里需要注意函数的最后一个参数：一定要是一个指针类型（引用）！这个函数并不返回任何数值，将外部事先定义好存储对应结构的切片后，将这个切片的地址传入即可：
// 事先定义好接收的切片 camLst := []*model.AdFB{} // 将camLst的地址传入，函数执行后将数据会塞进camLst中 GetAccountAds(FBBaseRequestString, requestMethod, url, &camLst)
递归V2版 ***
上面的写法还是有点问题，在实际中自己优化了一下写法：
// 获取某个账户下的所有Ad 递归获取下一页数据 func GetAccountAds(f func(requestMethod, url string) string, requestMethod, url string) ([]*model.AdFB, *model.Apperror){ strRet := f(requestMethod, url) //fmt.Println("strRet>>> ",strRet) var a []*model.AdFB var response model.AdFBResponse err := json.NewDecoder(strings.NewReader(strRet)).Decode(&response) if err != nil{ fmt.Println("AdFB json转结构体出错>>> ",err) return nil, model.NewApperror("xxx") } // 先将数据保存一下再分页 //fmt.Println("response>>> ",response) data := response.Data for _, adObj := range data{ a = append(a, adObj) } paging := response.Paging // 如果有下一页则递归获取数据 递归结束的条件 if paging != nil && paging.Next != ""{ nextStrUrl := (*paging).Next nextStrUrlNew := strings.Replace(nextStrUrl, "https://graph.facebook.com/v8.0/", BaseURL, 1) // 递归获取下一页数据并返回结果 if nextData, err := GetAccountAds(f, requestMethod,nextStrUrlNew); err != nil{ return a, nil }else{ // 注意这里的写法 return append(a,nextData...),nil } } // 没有分页数据直接返回即可 return a, nil }
～～～
