摘要: 今天在搭建一个虚拟环境过程中,遇到了点问题,在此记录一二。安装完scrapy后,再去安装pywin32,之后再通过命令行调试scrapy项目时,发现任然爆出了如下错误:。。。 import win32apiImportError: DLL load failed... 阅读全文
posted @ 2018-02-26 00:06 不知道的痛 阅读(400) 评论(0) 推荐(0) 编辑
摘要: 在上一篇文章中,谈及了如何使用scrapy取获取网页数据,可参考Scrapy入门学习之初步探索。在此继续谈一下数据保存和一些settings.py的配置。文中会继续上文的豆瓣读书小项目,并新增一个爬取简书所有用户信息的爬虫小项目,文章力求能够讲清学习时所遇到的坑,所以... 阅读全文
posted @ 2018-02-09 23:54 不知道的痛 阅读(228) 评论(0) 推荐(0) 编辑
摘要: OK,因为数据分析的缘故需要采集一些数据,所以学了一段时间的爬虫,但都是利用urllib,requests,Beautifulsoup采取一些小规模的数据,感觉并不顺手,所以从今天开始进入scrapy框架的学习。 事先申明环境配置 win10 python... 阅读全文
posted @ 2018-02-09 02:23 不知道的痛 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 今天上手学习scrapy在建立虚拟环境后,pip安装scrapy出现如下报错: error: command ‘C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\BIN\x86_amd64\cl.exe’ ... 阅读全文
posted @ 2018-01-26 16:45 不知道的痛 阅读(1084) 评论(0) 推荐(0) 编辑