勿忘初心

叹人生、不如意事,十常八九

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

goquery 添加header 发起请求

我们知道使用net/http 很容易发起GET or POST 请求;并且在发起http请求时候,可以很容易的对header进行干预

例如:

client := &http.client{}

request, err := http.NewRequest("GET","http://example.com",nil)
//...

request.Header.Add("Referer", "http://www.abc.com")
//...
//这样就可以自定义或者修改http的header了,这么做的目的当然是进行一个欺骗http服务器的行为,至于为什么这么做,哦,你懂得...
response, err := client.Do(request)
defer response.Body.Close()

那么如果使用goquery 解析页面的时候,如何添加header呢?
使用goquery.NewDocumentFromResponse(response) 进行处理就ok了

doc, err := goquery.NewDocumentFromResponse(response)
if err != nil {
	log.Fatal(err)
}
doc.Find("#7d li")
//...

完整的代码,如下

client := &http.client{}

request, err := http.NewRequest("GET","http://example.com",nil)
//...

request.Header.Add("Referer", "http://www.abc.com")
//...
//这样就可以自定义或者修改http的header了,这么做的目的当然是进行一个欺骗http服务器的行为,至于为什么这么做,哦,你懂得...
response, err := client.Do(request)
defer response.Body.Close()

doc, err := goquery.NewDocumentFromResponse(response)
if err != nil {
	log.Fatal(err)
}
doc.Find("#7d li")
//...
posted on 2015-07-13 10:37  chensss2008  阅读(763)  评论(0编辑  收藏  举报