爬虫里面的协议就是http,https或者url链接,但是感觉不只是这样啊。
爬虫中主要是web的网站协议,以http和https为主,大多是http1和http1.1当然现在也有了http2.0这三种协议。
遗憾的是requests库并不能请求http2.0协议,推荐去使用httpx库,httpx使用方法和requests库相识,有requests库经验,很容易就能学会httpx请求http2.0。
其中chrome控制台可以查看http协议属于哪一版,想了解可以搜一下,有很多教程,此处不做详解。
不过控制台也不能直接获取http2.0协议,会将http2.0降级为http1.1协议,如果想直接获取http2.0,可以去下一个插件,教程很多,略。
抓包工具方面,目前主要是用的fiddler和charles,charles可以获取http2.0协议,fiddler作者一直在说会更新出获取http2.0,目前也不清楚具体状况。
先写这些。