摘要: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文
posted @ 2018-05-13 16:12 whitesky-root 阅读(429) 评论(0) 推荐(0) 编辑
摘要: 我的python版本是Python 3.5该问题的产生是在windows环境中,python 的 Setup需要调用一个vcvarsall.bat的文件,该文件需要安装c++编程环境才会有。网上的方法有两个: 一、安装MinGW;二、安装Visual Studio 。我用的是第二种方法。 步骤一: 阅读全文
posted @ 2018-05-13 00:04 whitesky-root 阅读(141) 评论(0) 推荐(0) 编辑