摘要: scrapy的最通用的爬虫流程:UR2IM U:URL R2:Request 以及 Response I:Item M:More URL 在scrapy shell中打开服务器一个网页 cmd中执行:scrapy shell http://www.baidu.com (可以使用exit()退出) 此 阅读全文
posted @ 2019-01-20 18:49 程序猿Time 阅读(201) 评论(0) 推荐(0) 编辑
摘要: windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时,安装 阅读全文
posted @ 2019-01-20 18:06 程序猿Time 阅读(135) 评论(0) 推荐(0) 编辑