2016年6月7日

摘要: 我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。 首先先要回答一个问题。 问:把网站装进爬虫里,总共分几步? 答案很简单,四步: 新建项目 (Project):新建一个新的爬虫项目 明确目标(Items):明确你想要抓取的目标 制作爬虫(Spider):制作爬虫开始爬取网页 存储内容(P 阅读全文
posted @ 2016-06-07 17:14 邬兴亮 阅读(31739) 评论(1) 推荐(6) 编辑
摘要: 1. pip 在 PyCharm 无法自动更新 2. https://pip.pypa.io/en/latest/installing.html 官方网页要求在 cmd中输入以下命令进行 pip的 更新: 阅读全文
posted @ 2016-06-07 17:11 邬兴亮 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 增加python -m的方法能完美解决pip,easy_install 安装时报错:“pip failed to create process”的问题,据推测应该是64bit操作系统下会是如此。 Windows环境下使用:python -m pip install xxx来替换 install xx 阅读全文
posted @ 2016-06-07 16:39 邬兴亮 阅读(1773) 评论(0) 推荐(0) 编辑
摘要: Windows 平台: 我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同。 官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程。 1.安装Pyt 阅读全文
posted @ 2016-06-07 15:13 邬兴亮 阅读(9839) 评论(0) 推荐(0) 编辑

导航