摘要: 一、必备知识 1.socket客户端: 阻塞式客户端: 伪非阻塞式: 2.IO多路复用加socket实现非阻塞 伪代码: 上边代码中,当对多个网站进行连接或爬取时,每一个单独的Url都不会阻塞,再通过select监测数据的变化,可以及时接收数据,又不会挡住后边Url的爬取工作,实现了简单的非阻塞的目 阅读全文
posted @ 2017-08-31 17:29 Mitsuis 阅读(207) 评论(0) 推荐(0) 编辑
摘要: 参考博客:点击这里 一、scrapy安装配置 二、创建并运行scrapy python import scrapy 报错:from .. import etree ImportError: DLL load failed: 找不到指定的程序。 解决办法:由于本地缺少lxml文件或是lxml文件不符 阅读全文
posted @ 2017-08-31 14:21 Mitsuis 阅读(201) 评论(0) 推荐(0) 编辑