该文被密码保护。 阅读全文
摘要:
scrapy框架(内部去下载内容就是使用twisted异步非租塞模块) 1.依赖twisted 内部基于事件循环的机制实现爬虫的并发 非租塞:不等待 发起连接请求,不等待连接再去连接下一个,发送一个之后马上发送下一个 异步:回调 体现就是通知 只要发送成功回来就自动通知 事件循环:循环socket任 阅读全文
摘要:
start_urls内部原理 步骤 编写 用到的知识 可迭代对象或者生成器直接iter方法变成迭代器,以后定制start_urls的时候可以自己直接发post请求,内置默认用的get方法,拿url也可以到缓存redis中拿。 源码部分: 深度、优先级 源码流程分析 结合我的这篇博文深度https:/ 阅读全文
摘要:
简单的使用内置的代理中间件 源码分析 总结: 如果要简单的使用只需在请求刚开始的时候定义os.environ进程环境变量 如果要自定义下载代理中间件需要定义这些方法 自定义下载代理中间件方式一 自定义下载代理中间件方式二,源码看了很轻松自己定义 配置文件中 好奇看下Scrapy的配置文件 阅读全文