摘要: scrapy之多环境的选择使用 个人主机主机上可能存在多个python环境,当在终端中使用scrapy时,容易产生错误,无法使用到自己想使用的那个python,如何解决这个问题呢? 出现这类问题时,直接使用绝对路径就可以解决这个问题。 绝对路径 以我的为例做一个简单的图解: a. 进入到环境中复制s 阅读全文
posted @ 2019-01-15 22:03 AKA绒滑服贵 阅读(240) 评论(0) 推荐(0) 编辑
摘要: scrapy之持久化存储 scrapy持久化存储一般有三种,分别是基于终端指令保存到磁盘本地,存储到MySQL,以及存储到Redis。 基于终端指令的持久化存储 xxoo为爬虫文件名。 -o为输出的意思,output。 xxoo.csv为保存到本地的文件的名称,其中包含文件的后缀。其中,这种方式可以 阅读全文
posted @ 2019-01-15 19:25 AKA绒滑服贵 阅读(150) 评论(0) 推荐(0) 编辑
摘要: scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用。 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaconda中的python为python3。 我在PowerShell中直接键入scrapy可以使用。 阅读全文
posted @ 2019-01-15 17:02 AKA绒滑服贵 阅读(170) 评论(0) 推荐(0) 编辑