摘要: #### # 1,mogodb安装: Mac OSX 平台安装 MongoDB MongoDB 提供了 OSX 平台上 64 位的安装包,你可以在官网下载安装包。 下载地址:https://www.mongodb.com/download-center#community 接下来我们使用 curl 阅读全文
posted @ 2021-07-24 20:23 技术改变命运Andy 阅读(114) 评论(0) 推荐(0) 编辑
摘要: #### 安装scrapy 安装:pip install scrapy #### 创建scrapy项目 进入你要创建项目的目录下来,在命令窗口,输入命令:scrapy startproject scrapy_demo1 ### 生成一个爬虫, 进入爬虫项目的根目录,然后执行命令,scrapy gen 阅读全文
posted @ 2021-07-24 17:14 技术改变命运Andy 阅读(201) 评论(0) 推荐(0) 编辑
摘要: #### 目录 面试的时候问你基础概念和工作流程,看看你对这个框架是否熟悉 ##### 其实使用requests+selenium就可以解决90%的爬虫需求了,但是为什么还需要学习scrapy? scrapy是为了让爬虫更快,更强,解决抓取效率慢,解决爬虫的效率和速度的问题, ##### 框架和模块 阅读全文
posted @ 2021-07-24 14:24 技术改变命运Andy 阅读(55) 评论(0) 推荐(0) 编辑