摘要:
#### # 1,mogodb安装: Mac OSX 平台安装 MongoDB MongoDB 提供了 OSX 平台上 64 位的安装包,你可以在官网下载安装包。 下载地址:https://www.mongodb.com/download-center#community 接下来我们使用 curl 阅读全文
摘要:
#### 安装scrapy 安装:pip install scrapy #### 创建scrapy项目 进入你要创建项目的目录下来,在命令窗口,输入命令:scrapy startproject scrapy_demo1 ### 生成一个爬虫, 进入爬虫项目的根目录,然后执行命令,scrapy gen 阅读全文
摘要:
#### 目录 面试的时候问你基础概念和工作流程,看看你对这个框架是否熟悉 ##### 其实使用requests+selenium就可以解决90%的爬虫需求了,但是为什么还需要学习scrapy? scrapy是为了让爬虫更快,更强,解决抓取效率慢,解决爬虫的效率和速度的问题, ##### 框架和模块 阅读全文