摘要：
中间件： 概念和django的中间件概念很相似，当有响应由下载器传到引擎的时候都会先经过中间件，而当请求从引擎到下载器的时候也会先经过中间件，这样一来我们就可以在中间件处对请求和响应进行我们想要效果的修改。（虽然在spider与引擎中间同样存在中间件，但是我们更多的是使用下载中间件） （1）引擎将请 阅读全文
posted @ 2020-10-10 20:56
TopJocker
阅读(167)
评论(0)
推荐(0)
摘要：
其实这次的内容我是想放在上一篇的博文中的，但是上次犯懒了，就放在这里了奥。 基于mysql持久化操作： 将爬取数据写入文件这种情况还是少见的，因为文件无论是内存占用还是读写速度都存在一定的瑕疵，所以我们更多的是操作数据库。因为items对象已经准备好了所以我们只需要进行pipeline管道更改就可以 阅读全文
posted @ 2020-10-10 10:33
TopJocker
阅读(140)
评论(0)
推荐(0)