HttpWebRequest爬虫问题汇总

1、HttpWebRequest设置Cookie无效问题

在header里设置无效，最后发现是cookie没有设置domain，设置domian后生效，如下

Cookie cookie = new Cookie(name, value);
cookie.Domain = ".baidu.com";

 

2、Referer 不能通过header设置，需要通过如下设置

HttpWebRequest.Referer = "baidu.com"

 

posted @   鸽子飞扬  阅读(115)  评论(0)  编辑  收藏  举报
相关博文：
·  .net HttpWebRequest发送cookie失败
·  打开fiddler之后，python写的爬虫无法正常运行
·  HttpWebRequest 无法提交 cookie 的原因分析
·  反爬系列（一）:refer和cookie
·  爬虫----request中的cookies参数
阅读排行：
· 周边上新：园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源！
· .NET周刊【3月第1期 2025-03-02】
· 分享 3 个 .NET 开源的文件压缩处理库，助力快速实现文件压缩解压功能！
· [AI/GPT/综述] AI Agent的设计模式综述
点击右上角即可分享
微信分享提示
SQL AI 助手