摘要：通过User-Agent来控制访问 无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requests headers 这里面的大多数的字段都是浏览器向服务器”表明身份“用的 对于爬虫程序来说，最需要注意的字段就是：User-Agent 很多网站
阅读全文
摘要：在scrapy中发送post请求可以用 FormRequest，但发送的 Content-Type 的值是 application/x-www-form-urlencoded ，不适用Content-Type不支持这种情况的网站 这是可以用 Request 发送post请求，如下： from scr
阅读全文
摘要：- 中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站，包括温度、湿度、PM 2.5、AQI 等数据，链接为：https://www.aqistudy.cn/html/city_detail.html,网站显示为： 该网站所有的空气质量数据都是基于图表进行显示的，并且都是出发鼠标滑动或
阅读全文
摘要：获取响应返回的cookie: res = requests.get("xxx") print(res.cookies) 搜json.parse 或 var xxx Fiddler 费德勒 飞的了 启动fiddler之后，IE浏览器代理就被fiddler改掉了 replace : 回放go: 让断点向
阅读全文
