goquery 添加header 发起请求

时间:2023-03-09 02:50:50
goquery 添加header 发起请求

goquery 添加header 发起请求

我们知道使用net/http 很容易发起GET or POST 请求;并且在发起http请求时候,可以很容易的对header进行干预

例如:

client := &http.client{}

request, err := http.NewRequest("GET","http://example.com",nil)
//... request.Header.Add("Referer", "http://www.abc.com")
//...
//这样就可以自定义或者修改http的header了,这么做的目的当然是进行一个欺骗http服务器的行为,至于为什么这么做,哦,你懂得...
response, err := client.Do(request)
defer response.Body.Close()

那么如果使用goquery 解析页面的时候,如何添加header呢?

使用goquery.NewDocumentFromResponse(response) 进行处理就ok了

doc, err := goquery.NewDocumentFromResponse(response)
if err != nil {
log.Fatal(err)
}
doc.Find("#7d li")
//...

完整的代码,如下

client := &http.client{}

request, err := http.NewRequest("GET","http://example.com",nil)
//... request.Header.Add("Referer", "http://www.abc.com")
//...
//这样就可以自定义或者修改http的header了,这么做的目的当然是进行一个欺骗http服务器的行为,至于为什么这么做,哦,你懂得...
response, err := client.Do(request)
defer response.Body.Close() doc, err := goquery.NewDocumentFromResponse(response)
if err != nil {
log.Fatal(err)
}
doc.Find("#7d li")
//...