HttpWebRequest爬虫问题汇总

1、HttpWebRequest设置Cookie无效问题

在header里设置无效，最后发现是cookie没有设置domain，设置domian后生效，如下

Cookie cookie = new Cookie(name, value);
cookie.Domain = ".baidu.com";

 

2、Referer 不能通过header设置，需要通过如下设置

HttpWebRequest.Referer = "baidu.com"