摘要:
1.安装scrapy框架 a.安装wheel pip install wheel -i https://pypi.douban.com/simple/ b.安装twisted pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ Twist 阅读全文
摘要:
Scrapy 是一个基于 Twisted 的异步处理框架。异步就是说调用在发出之后,这个调用就直接返回,不管有没有结果。(非阻塞关注的是程序在等待调用结果(消息、返回值)时的状态,指在不能立刻得到结果之前,不会阻塞当前线程。) 1.scrapy架构 Engine,引擎,用来处理整个系统的数据流处理, 阅读全文