摘要: 爬虫就是发送http请求(浏览器里面打开发送的都是http请求),然后获取到response,咱们再从response里面找到想要的数据,存储到本地。 接下来就说一下什么是http请求,它里面都有哪些东西,我们在写爬虫的时候,怎么http请求,里面哪些对我们的爬虫有影响。 http请求过程 咱们打开 阅读全文
posted @ 2020-04-15 22:19 飞鸟与新月 阅读(305) 评论(0) 推荐(0) 编辑
摘要: 说明《透视HTTP协议》是 罗剑锋 (奇虎360技术专家)在极客时间开的一门专栏课,笔者记录一下学习笔记,仅供参考。 在第 20 讲中,我介绍了 HTTP 的缓存控制,第 21 讲我介绍了 HTTP 的代理服务。那么,把这两者结合起来就是这节课所要说的“缓存代理”,也就是支持缓存控制的代理服务。 之 阅读全文
posted @ 2020-04-15 21:56 飞鸟与新月 阅读(367) 评论(0) 推荐(0) 编辑