摘要: 1.安装scrapy框架 a.安装wheel pip install wheel -i https://pypi.douban.com/simple/ b.安装twisted pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ Twist 阅读全文
posted @ 2020-04-16 17:25 yq055783 阅读(145) 评论(0) 推荐(0) 编辑
摘要: Scrapy 是一个基于 Twisted 的异步处理框架。异步就是说调用在发出之后,这个调用就直接返回,不管有没有结果。(非阻塞关注的是程序在等待调用结果(消息、返回值)时的状态,指在不能立刻得到结果之前,不会阻塞当前线程。) 1.scrapy架构 Engine,引擎,用来处理整个系统的数据流处理, 阅读全文
posted @ 2020-04-16 15:43 yq055783 阅读(74) 评论(0) 推荐(0) 编辑